「統計学関連なんでもあり」の過去ログ--- 046

No.20060　多重共線性　　【RCA】　2013/07/12(Fri) 10:16

重回帰において多重共線性が起きている場合（説明変数同士の相関が1に近い場合），その影響は回帰係数や標準誤差のほか，R2乗値にも出るのでしょうか？

No.20063　Re: 多重共線性　　【青木繁伸】　2013/07/12(Fri) 11:58

モデル自体が影響を受けるわけですから，出てくる全ての数値（結果）が影響を受けていることになるでしょう。

No.20066　Re: 多重共線性　　【RCA】　2013/07/12(Fri) 13:18

青木先生，ご多忙のところ早速ありがとうございます。

R2乗値にも影響するということで素朴な疑問なのですが，多重共線性をチェックするためのVIFは，説明変数内での重回帰で計算されるR2乗値に基づきますが，もし説明変数内の回帰式に多重共線がある場合はR2乗値が信頼できず，そのR2乗値から計算されるVIFも信頼できないということになるのでしょうか。

頓珍漢な質問でしたら申し訳ありません。
ご教示いただければ幸いです。

No.20067　Re: 多重共線性　　【青木繁伸】　2013/07/12(Fri) 14:22

> VIFは，説明変数内での重回帰で計算されるR2乗値に基づきますが

違います。
VIF は，「独立変数間の相関係数行列の逆行列の要素 r(ii)」です。
R2 は 1-1/r(ii) です。
それでもなお，特異行列に近い行列の逆行列の要素も不安定ではありますが，特定の値より大きいかどうかを厳密に判断するのではなく，VIF としての数値がある一定範囲より大きいかどうかを見るわけですから，信頼できないというものではないでしょう。

No.20068　Re: 多重共線性　　【RCA】　2013/07/12(Fri) 15:01

青木先生，ご回答誠にありがとうございます。

信頼できないものではないとのことで安心いたしました。
指標の1つとして注意して使いたいと思います。

ところで，「説明変数内での重回帰で計算されるR2乗値に基づく」という表現は
「ある説明変数X(k)を従属変数として他の独立変数から回帰分析をした際のR2乗値を1からマイナスした値の逆数」VIF(k)=1/(1-R^2(k))

との理解からなのですが，これは間違いでしょうか？

No.20069　Re: 多重共線性　　【青木繁伸】　2013/07/12(Fri) 15:48

> ある説明変数X(k)を従属変数として他の独立変数から回帰分析をした際のR2乗値を1からマイナスした値の逆数

間違いはないでしょう。というか，正しいでしょう。
>> R2 は 1-1/r(ii) です
と同じことを言っていますから。

しかし，どちらが先かというと，相関係数行列の逆行列の対角要素r(ii)が先で，sqrt(1-1/r(ii)) が重相関係数 R で，その自乗 R^2 が 1-1/r(ii) ということで。
わざわざ逆に辿る必要はないのでは？

No.20070　Re: 多重共線性　　【RCA】　2013/07/12(Fri) 16:02

青木先生，ご丁寧にありがとうございます。

とてもよく理解できました。
もう一度基礎に戻りきちんと習得したいと思います。
ありがとうございました。