「統計学関連なんでもあり」の過去ログ--- 039

No.01053　重回帰分析における編入候補変数について　　【abo】　2006/09/06(Wed) 14:22

Web統計を使わせてもらったのですが，
重回帰分析における編入候補変数が，
「編入されました」
「編入されませんでした」
の基準は，
重相関係数が，編入前にくらべて増加するかどうかで決まっている
と考えてよろしいのでしょうか？

使ってみたところ，
4項目までは，編入され，除去されなかったのですが，
5項目目は，「編入されませんでした」の表記のみで，
計算結果が表示されていませんし，
なぜ，編入されなかったのかがわかりませんでした。

ためしに編入後の5項目を想定して，回帰分析してみたところ，
重相関係数，決定係数ともに4項目目までの数値よりも
増加しています。

どのように考えたらよろしいのでしょうか？

No.01054　Re: 重回帰分析における編入候補変数について　　【青木繁伸】　2006/09/06(Wed) 18:01

決定係数で決めるのではなく，偏F値（偏回帰係数の検定のt値と等価）で決めます。

> 　独立変数の追加・除去の基準としては，各変数の偏 F 値に基づく Fin，Fout，それを有意確率に換算したPin，Pout がある。いずれも，各独立変数の偏回帰係数の有意性検定と関連しており，後者で例えば Pin = Pout = 0.05 を指定するということは，最終的な重回帰式に含まれる全ての独立変数の偏回帰係数が 0 であるという帰無仮説が有意水準 5 % で棄却されるということを意味する。

つまり，変数増減法だと，候補変数の偏F値（P値）により編入するかどうかを決めます。
編入されなかった場合は，重回帰モデルの変更はないので結果は表示されません（前のステップの結果と同じです）。
編入されたら次に，除去変数の候補について偏F値（P値）により除去するかどうか決めます。除去されなかったら結果は表示されません。除去されたら結果は表示されます。

そういうことですが？

No.01055　Re: 重回帰分析における編入候補変数について　　【青木繁伸】　2006/09/06(Wed) 18:30

> 編入後の5項目を想定して，回帰分析してみたところ，重相関係数，決定係数ともに4項目目までの数値よりも増加しています。

追加した変数の，偏回帰係数が0かどうかの検定のためのt値に対するP値はどうですか？0.05より大きくなっていませんか？(Pin,Pout を 0.05 以外に設定した場合はその数値より大きくなっていませんか）。

No.01056　Re: 重回帰分析における編入候補変数について　　【abo】　2006/09/06(Wed) 20:29

詳しいご回答，ご説明ありがとうございます。
どうも勘違いしていたようです。

＞R2 ≠ 1 である限り，R2* は R2 よりも小さい。
＞R2* が増加する限り，追加された独立変数は有効であることを意味する。

ここのところだけを見てました。
5項目目を追加すると，確かにP値が0.05より大きくなってました。

Web解析は，総当りではなく，変数増減法であるようですけど，
総当りをするメリットあるのでしょうか？

No.01057　Re: 重回帰分析における編入候補変数について　　【青木繁伸】　2006/09/06(Wed) 20:48

ステップワイズは多くの場合は最適に近いモデルが得られるのでしょうけど，ほんのちょっとした追加順序の違いが最後の方で大きな違いになったりすることもあるので，結局は総当たり法が望ましいわけでしょう。ただ，計算量だけが制約条件。