「統計学関連なんでもあり」の過去ログ--- 043

No.11387　stepAICと総当たり法について　　【学生】　2009/12/02(Wed) 16:26

よろしくお願いします。
RでのstepAICでの結果と総当たりでモデル選択したモデルが異なります。
どちらを採用したほうがいいのでしょうか。
また，なぜこのような違いがでるのでしょうか。

No.11388　Re: stepAICと総当たり法について　　【青木繁伸】　2009/12/02(Wed) 16:46

stepAIC は文字通り，一段階ずつ変数を加除してモデルを構成します。モデルに加えるかどうかを検査するときに，それまでにどのような変数がモデルに加えられているかに依存します。そして，その変数がモデルに加えられなかった場合，その変数がモデルに加えられていたら加えられたであろう変数は絶対にモデルに含まれないというようなことが生じます。つまり，stepAICで探索される独立変数の組合せはすべての組合せを尽くさないことがあります。総当たりの場合には，すべての変数の組合せを検査します（だから総当たり）。
そんな関係で，違いが出るのです。それを考えれば，どちらを採用するかは自明。つまり，総当たりでモデルを選択した方がよいでしょう。（AIC を見れば，それぞれの方法で採用されたモデルのどちらが優れているかはあきらかでしょう？だって，総当たりでは一番 AIC の小さいモデルが常に選ばれるが，stepAIC ではその保証がない。個別領域において，AIC が一番小さいのが一番よいモデルとはいわないが）
stepAIC で選択されたモデルのAICと，総当たりで検索されたそのモデル（同じ独立変数を持つモデル）のAICは同じ値になっているでしょう？（同じでないとしたらバグ，もしくは欠損値の扱いに違いがあるせい）。そして，そのAICより小さいAICを持つモデルが総当たり法で得られているはずです。

No.11389　Re: stepAICと総当たり法について　　【学生】　2009/12/02(Wed) 17:52

青木先生，ありがとうございます。
ということは，stepAICの手法でモデル選択しているケースが多いのは，単に説明変数が多いときに計算が大変になるので総当り法は主流ではないという理由であっていますでしょうか。

No.11390　Re: stepAICと総当たり法について　　【青木繁伸】　2009/12/02(Wed) 17:57

> 単に説明変数が多いときに計算が大変になるので総当り法は主流ではない

まあ，そういうことでしょう。そもそも，そう言う理由で総当たり法を実装していないプログラムパッケージもあるでしょうから，使いたくても使えない（そもそもそう言う方法があることすら知らない）。

No.11391　Re: stepAICと総当たり法について　　【学生】　2009/12/02(Wed) 18:47

納得できました。
丁寧にご回答いただき，どうもありがとうございました。