「統計学関連なんでもあり」の過去ログ--- 042

No.09085　モデルの評価方法　　【saki】　2009/02/02(Mon) 12:26

ステップ関数によって得られたモデルの適切さを評価する際，AICが1つの指標であると思いますが，逸脱度（deviance)から評価する際には，具体的にどのようにしたらよいのでしょうか．
例えば，
Null Deviance　　: 69240
Residual Deviance: 65580
といったデータがあった場合に，Null　DevianceよりResidual Devianceが小さいことから，「このモデルは適切である」と評価できるのでしょうか？

No.09086　Re: モデルの評価方法　　【青木繁伸】　2009/02/02(Mon) 15:03

対数尤度の「-2倍」がデビアンスで，デビアンスに「パラメータ数に1加えたものの2倍」を加えたものがAIC。デビアンスは尤度比検定の統計量。などなど。

No.09087　Re: モデルの評価方法　　【saki】　2009/02/02(Mon) 17:15

お返事ありがとうございます．
尤度比検定とは，「この統計量の値が予め決めた有意水準より小さいならば帰無仮説を棄却する」という説明を見つけましたが，この統計量からモデルの当てはまりを調べられるということですよね．
具体的に，与えられたResidual Deviance（説明変数を投入した時のデビアンス）とNull　Deviance（切片項のみのデビアンス）を使って，どのように計算したらよいのかということがわかりません．
何度もすみませんが，よろしくお願いします．

No.09088　Re: モデルの評価方法　　【青木繁伸】　2009/02/02(Mon) 18:21

R を使うという前提で
a <- glm(foo~bar+baz, data=qux, family=binomial)
で返されるオブジェクトの要素は以下の通り。
a$deviance, a$null.deviance 自由度はそれぞれ a$df.residual, a$df.null
a$null.deviance - a$deviance が，自由度 a$df.null - a$df.residual のカイ二乗分布に従うので，pchisq(a$null.deviance - a$deviance, a$df.null - a$df.residual, lower.tail=FALSE) で P 値が求まる。
その他，モデル間のデビアンス表を計算する anova 関数も参照のこと（P 値は計算してくれないみたいなので，自分で計算しないといけない。anova 関数が返すオブジェクトの要素名を str 関数でチェックするとよい）

以下が参考になろう
http://www.fihs.org/health4/ARTICLESNO2_2.pdf

No.09089　Re: モデルの評価方法　　【saki】　2009/02/02(Mon) 18:55

よくわかりました！ありがとうございました．