「統計学関連なんでもあり」の過去ログ---028

★ 多重共線性と標準化係数 ★

2454.　多重共線性と標準化係数　すずもと　2004/02/24 (火) 04:05
└2455.　Re: 多重共線性と標準化係数　青木繁伸　2004/02/24 (火) 09:22
　└2456.　Re^2: 多重共線性と標準化係数　すずもと　2004/02/24 (火) 10:21
　　└2461.　Re^3: 多重共線性と標準化係数　青木繁伸　2004/02/24 (火) 13:00
　　　└2462.　Re^4: 多重共線性と標準化係数　すずもと　2004/02/24 (火) 13:31

2454.　多重共線性と標準化係数　すずもと　　2004/02/24 (火) 04:05

多重共線性について質問させてください(統計学に不慣れなため，見当違いな質問でしたらすいません）。

重回帰分析で標準偏回帰係数が1以上になる場合は多重共線性の可能性を疑う必要があるようですが，青木先生のWebページの中に判別分析の標準化判別係数が1以上になっている個所があります。
http://aoki2.si.gunma-u.ac.jp/LaTeX/SDIS-QT2.html
これは，多重共線性を疑う必要がある例と考えてよいのでしょうか。それとも従属変数が0/1型の判別分析やロジスティック回帰の場合は，1以上の値になることも，より普通にありうるのでしょうか。あるいは，ダミー変数を用いていることが関係しているのでしょうか。ご教示ください。

　　　　　[このページのトップへ]

2455.　Re: 多重共線性と標準化係数　青木繁伸　　2004/02/24 (火) 09:22

> Webページの中に判別分析の標準化判別係数が1以上になっている個所があります。
> http://aoki2.si.gunma-u.ac.jp/LaTeX/SDIS-QT2.html
> これは，多重共線性を疑う必要がある例と考えてよいのでしょうか。それとも従属変数が0/1型の判別分析やロジスティック回帰の場合は，1以上の値になることも，より普通にありうるのでしょうか。あるいは，ダミー変数を用いていることが関係しているのでしょうか。

結論から言えば，このデータは多重共線性に近いものではありますが，標準化判別係数が1を超えているのはそれとは関係がありません。
このデータを重回帰分析すると，標準化偏回帰係数は1を超えるものはありません。しかし，トレランスは0.2程度のものが3つありますので，前述のように「多重共線性に近いものがある」と表現したところです。
2群の場合の判別分析と重回帰分析は同じなのですが，判別係数と偏回帰係数および，それぞれの標準化されたものは，通常の計算方法によれば一致はしません。従って，標準化偏回帰係数は1を超えないのに，標準化判別係数は1を超えると言うことがあります。なお，統計プログラムによっては，標準化判別係数というのを表示しないものもあります。

なお，この掲示板にも過去に数件，重回帰分析で標準化偏回帰係数が1以上になったがそんなことがあるのかという実例（質問）がありましたが，データを見た結果いずれも多重共線性の仕業であったという事実はあります。

　　　　　[このページのトップへ]

2456.　Re^2: 多重共線性と標準化係数　すずもと　　2004/02/24 (火) 10:21

お返事どうもありがとうございました。関連して，もう1つ質問させてください。ロジスティック回帰を行ったところ，以下のような結果を得ました（計算はSPLUSで行い，標準化係数は，別に求めた標準偏差を掛けました）。
変数係数　　　標準誤差　t値　　　　標準化係数 X1 0.043733797 0.042269176 1.0346499　　 0.03351 　X2 -0.001972911 0.002239525 -0.8809505　　-1.07709 X3 3.997255077 6.822394315 0.5859021　　 1.92141
ご覧のとおり，二つの変数で標準化係数が1を超えています（今のところトレランスが計算できずにいますが，変数間の相関係数は0.1前後で，多重共線性問題はないとは言い切れませんが，可能性は高くないとの印象です）。

初心者の私にとっては意外なことに，上の結果では，標準化回帰係数が大きいものに対するt値が必ずしも大きくありませんでした。影響度が大きい（大きい可能性がある）と判断される変数でも，必ずしも有意性が高いとは限らないということでしょうか（影響度の大小と有意かどうかは別問題？）。それとも，やはり多重共線性や別の計算間違いなどを疑う必要があるでしょうか。

　　　　　[このページのトップへ]

2461.　Re^3: 多重共線性と標準化係数　青木繁伸　　2004/02/24 (火) 13:00

> 標準化係数は，別に求めた標準偏差を掛けました

それでいいはずです（計算間違いがないとすれば）。
心配ならば，定義に帰って計算してみてください。
つまり，独立変数を全て事前に平均0，分散1に標準化して，それを使って同じようにロジスティック回帰を行ったときの「係数」を求めます。このときの「係数」は先に計算した「標準化係数」と同じになるはずです（それが標準化係数の定義ですから）。

> ご覧のとおり，二つの変数で標準化係数が1を超えています（今のところトレランスが計算できずにいますが，変数間の相関係数は0.1前後で，多重共線性問題はないとは言い切れませんが，可能性は高くないとの印象です）。

判別分析のときと同じですが，標準化係数が1を超える超えないと言うのは，重回帰分析のときに限っての判断でしょう。ロジスティック回帰の場合にはさらに，独立変数と従属変数は直線相関ではありませんから余計です。

> 初心者の私にとっては意外なことに，上の結果では，標準化回帰係数が大きいものに対するt値が必ずしも大きくありませんでした。影響度が大きい（大きい可能性がある）と判断される変数でも，必ずしも有意性が高いとは限らないということでしょうか

そういうことでしょうね。

　　　　　[このページのトップへ]

2462.　Re^4: 多重共線性と標準化係数　すずもと　　2004/02/24 (火) 13:31

> 判別分析のときと同じですが，標準化係数が1を超える超えないと言うのは，重回帰分析のときに限っての判断でしょう。ロジスティック回帰の場合にはさらに，独立変数と従属変数は直線相関ではありませんから余計です。

「1を超えるかどうか」について，私はロジスティック回帰や判別分析も一緒だと考えていました。周りに相談する院生や先生がおらず，一人で悶々と考えていましたが，助言を頂き助かりました。貴重なお時間，ありがとうございました。

　　　　　[このページのトップへ]