「統計学関連なんでもあり」の過去ログ--- 038

No.00103　変数の選択について　　【山口】　2006/05/21(Sun) 16:07

こんにちは。青木先生のサイトには本当に助けられております。
重回帰分析のステップワイズ法で質問があります。企業の財務データにより青木先生のソフトで変数選択を行なったところ，最終的に以下の結果がでました。

             偏回帰係数       標準誤差         t値       P値   標準化偏回帰係数
X006         0.06941941     0.01220598    5.6873300    0.00000       1.782522
X004           30547.16       1945.106   15.7046230    0.00000      0.5095247
X023          -2147.691       411.8470    5.2147798    0.00001     -0.5002620
X003       -0.007531450    0.002656075    2.8355563    0.00811     -0.8106057
定数項         23399.32       8553.538    2.7356303    0.01035
                                              t値の自由度: 30

              トレランス     分散拡大要因
*X006        0.006129212         163.1531
 X004          0.5719818         1.748307
*X023         0.06542364         15.28500
*X003        0.007367412         135.7329

  警告: [*] が付いている変数は多重共線性の原因になっているかもしれません。

重相関係数:                     0.99093
決定係数（重相関係数の二乗）:   0.98194
自由度調整済み重相関係数の二乗: 0.97953

決定係数の増分:   0.00484
増分に対するF値:  8.0404
第1自由度:             1
第2自由度:            30
増分に対するP値: 0.00811

この場合トレランスの所で多重共線性が指摘されている通り，X006,X023,X003は削除したほうがいいということでしょうか。すべて偏P値は有意であり，この1つ前のステップより決定係数もいくぶん増加しているのでよりよいモデルにはなっていそうですが。もし削除するなら，1つずつ削除するXを変えてみて(まずはX006,X004,X0023。次はX006,X004,X003。次は…)，トレランスの値上一番多重共線性の可能性の低いモデルを選ぶ方法がいいのでしょうか。素人の投稿ですが，ぜひよろしくお願いいたします。

No.00104　Re: 変数の選択について　　【青木繁伸】　06/05/21(Sun) 19:06

原因になっているということで，全部を削除する必要はありません。

どれか一つを削除すれば解決することもあるでしょう。
二つ削除しないといけないこともあるかもしれませんが。

まず一つずつ削除して，結果を見てみましょう。
多重共線性がなくなれば，理論的に考えてどれを残した方が良いのかを考えましょう。
甲乙付けがたいと言うことでしたら，決定係数の大きくなる独立変数を残した方が良いのかもしれません。

二つ削除する場合も同じような考え方で。。。

No.00106　Re: 変数の選択について　　【山口】　06/05/21(Sun) 20:11

青木先生，返信ありがとうございました。仰せの通り実践してみます。