「統計学関連なんでもあり」の過去ログ--- 044

No.15571　ロジスティック回帰分析における変数選択法について　　【佐藤】　2011/10/27(Thu) 16:13

重ねての質問すみません。

現在ロジスティック回帰分析を行っていて，変数選択法の尤度比検定の使い方がいまひとつわからなくて質問しました。

現在S-Plusによるデータマイニング入門という本を参考にしてS-Plusでロジスティック回帰分析を行っているのですが，この本によるとある説明変数を入れた場合と外した場合の尤離度残差の値から変数の選択を行っているみたいですが，この値からどうやって変数選択をされているのかについてはぼやかされていました。

Analysis of Deviance Table

Binomial model

Response: case1cont3.0

Terms added sequentially (first to last)
Df Deviance Resid. Df Resid. Dev
NULL 101 141.4020
説明変数1 1 2.285623 　100 139.1164
説明変数2 1 2.402056 　99 136.7143

私も自身のデータを用いて同様な方法で尤離度残差を求めたところ，上記のResid. Dev
のような結果が得られました。

私の今の解釈では，この尤離度残差の差の値が尤度比検定に用いる値に対応するなのかと考えているのですが，これは間違った解釈なのでしょうか？

尤離度残差に関して調べてもいまひとつわからなかったので質問しました。

よろしくお願いします。

No.15573　Re: ロジスティック回帰分析における変数選択法について　　【青木繁伸】　2011/10/27(Thu) 16:53

例えば，独立変数として，A, B, C を含むモデルの対数尤度と，A, B, C に加えて D を含むモデルの対数尤度を比べて，対数尤度に有意な差がなければ（対数尤度の差の-2倍が自由度1のカイ二乗分布に従う），独立変数 D は不要というように，モデルの選択を行うのです。独立変数セットは入れ子になっていなければならない。必ずしも1個だけ多いということではなく2個でも3 個でもよい。一般的には独立変数の個数の差を自由度とするカイ二乗分布に従う）。