「統計学関連なんでもあり」の過去ログ--- 045

No.16241　パラメータ数と適合度（対数尤度）について　　【umi】　2012/01/16(Mon) 23:30

なぜかわからないので，ご教授下さい。
最尤法を用いて，パラメータの推定を行っています。パラメータが5つあり，すべてのパラメータを使った場合，4つ使った場合，3つ使った場合・・・というように推定を行っているのですが，全てのパラメータを使った場合の対数尤度があるモデルよりも低くなってしまいます。パラメータを多く使ったほうが適合度が普通高いため，対数尤度も高くなると思うのですが間違った考えでしょうか？

No.16242　Re: パラメータ数と適合度（対数尤度）について　　【青木繁伸】　2012/01/17(Tue) 08:24

最尤法と言っても，実際のアルゴリズムはなんでしょうか？繰り返し計算で収束判定するような場合，件のモデルは収束しているのでしょうか？単に変数が増えたり収束が難しい変数が加えられて，未収束の場合には要するに正しい推定値でないので，対数尤度も正しいものではないでしょう。他のモデルの対数尤度と比較できないですね。

> パラメータを多く使ったほうが適合度が普通高い

ということを理解しているのですから，モデルの選択には対数尤度ではなく AIC などを使うべきでしょう。