「統計学関連なんでもあり」の過去ログ--- 045

No.16976　多重共線性とステップワイズ法について　　【こみね】　2012/06/01(Fri) 21:39

統計について，1点疑問に感じた点があったので質問させてください。

先行研究では多重共線性を除くためモデル作成においてVIFを計算し，VIF＞10となる変数を除き，そのうえでステップワイズ法でモデル選択をしていましたが，ステップワイズ法はそれ自体が多重共線性を生じないように変数を選んでくれるのでしょうか？

宜しくお願い致します。

No.16977　Re: 多重共線性とステップワイズ法について　　【青木繁伸】　2012/06/01(Fri) 21:48

反例は一つで十分なのですが，どなたか，反例の実際例を示してもらえますか？

多重共線性といのも，連続的なものなので，たとえば VIF がこの値を超えたから多重共線性が見られたというものでもないでしょう。
何らかの方法で得られた重回帰モデルを検証して，確かに多重共線性はないなあということを確かめればそれで十分なのではないですか？

No.16983　Re: 多重共線性とステップワイズ法について　　【こみね】　2012/06/04(Mon) 12:29

＞確かに多重共線性はないなあということを確かめればそれで十分なのではないですか？

返信ありがとうございます。
では確かに多重共線性はないなぁ，という判断は何を基準にすればよいのでしょうか？
相関係数などでしょうか？

理解が及ばず申し訳ありません。
回答よろしくお願い致します。

No.16984　Re: 多重共線性とステップワイズ法について　　【青木繁伸】　2012/06/04(Mon) 16:02

> VIF＞10となる変数を除き，そのうえでステップワイズ法でモデル選択

まえもってそのようにする必要はないでしょう。というか，そんなことをするのは，極めて不適切でしょう。そもそも，選ばれる変数によっては，ある変数の VIF は高くならないかも知れないのだから。つまり，A,B,X では X のVIF が高くなるようなことがあっても，A,C,X では何の問題もないということもあるということ。

> 確かに多重共線性はないなぁ，という判断は何を基準にすればよいのでしょうか？
> 相関係数などでしょうか？

VIF でしょう。
最終的に得られたモデルの独立変数の VIF が許容範囲にあることを確かめる。

No.16985　Re: 多重共線性とステップワイズ法について　　【小峰】　2012/06/04(Mon) 18:36

青木先生，返答ありがとうございました。
統計について勉強不足のため，これから精進します。