Control of Model Complexity

Abstract

Model complexity is one of the most important criteria for the success of models. In this study, the prominent approaches to controlling model complexity have been examined under headings. These are Occam’s razor, Popper’s falsifiability, and the statistical learning theory. Occam’s razor and Popper’s falsifiability in the control of model complexity, yes they provide a philosophical approach and they are also accepted. However, they do not provide a mathematical formulation on how to control model complexity. However, the statistical learning theory (aka VC theory) approach to the subject is not only at a philosophical level, but also introduces a new principle of risk minimization (structural risk minimization, YRM) by adding the VC coefficient to the empirical risk minimization (ARM) principle used in the models developed so far. . As a result, the VC theory developed by Vapnik and Chervonenkis as a control model, with its proven mathematical background and highly successful results, can be a good source of inspiration for model developers as the most consistent and reliable approach to the control of model complexity in today’s framework.

Model karmaşıklığı, modellerin başarısındaki en önemli ölçütlerden birisidir. Bu çalışmada bugüne dek model karmaşıklığının kontrolünde öne çıkan yaklaşımlar başlıklar halinde incelenmiştir. Bunlar Occam’ın usturası, Popper’ın yanlışlanabilirliği ve istatiksel öğrenme teorisidir. Occam’ın usturası ve Popper’ın yanlışlanabilirliği model karmaşıklığının kontrolünde, evet bir felsefi yaklaşım sağlamaktadırlar ve kabul de görmektedirler. Fakat model karmaşıklığının nasıl kontrol edileceği konusunda matematiksel bir formülasyon sağlamamaktadırlar. Fakat istatiksel öğrenme teorisi (diğer adıyla, VC teorisi) konuya yaklaşımı yalnızca felsefi bir düzeyde kalmamakta, aynı zamanda şimdiye dek geliştirilen modellerde kullanılan ampirik risk minimizasyonu (ARM) ilkesine VC katsayısını ilave ederek yeni bir risk minimizasyonu (yapısal risk minimizasyonu, YRM) ilkesi getirmektedir. Sonuç olarak Vapnik ve Chervonenkis tarafından geliştirilen VC teorisi bir kontrol modeli olarak, ispatlanmış matematiksel arka planı ve oldukça başarılı olan sonuçları itibariyle, model karmaşıklığının kontrolü konusunda, günümüz çerçevesinde, en tutarlı ve güvenilir bir yaklaşım olarak, model geliştiriciler için iyi bir ilham kaynağı olabilir.