「統計学関連なんでもあり」の過去ログ--- 040

No.02372　独立変数と決定係数との関連について　　【K.K】　2007/01/19(Fri) 14:42

何度も申し訳ございません。決定係数（R2）のことで，もう1つご教授して頂きたいことがございます。なぜ，独立変数の数を増やせば，決定係数（R2）の数値が高くなる傾向にあるのかということです。このことに関する説明をして下さっている文献（私が理解できる程度のものです）を見つけることができず（恐らく簡単なことなので皆様は省略なされていると思うのですが），理解することができません。これに関しましても，どうぞよろしくお願いいたします。

No.02374　Re: 独立変数と決定係数との関連について　　【青木繁伸】　2007/01/19(Fri) 15:02

直線回帰を考える場合，データが二組だと，y=ax+b という直線の傾きと切片は完全に決まります（方程式を作って解くことができます）ね。誤差はない（Se=0）ので，R2=1-Se/St=1 になります。
独立変数が2個の場合，重回帰式は y = a1*x1+a2*x2+a0 という平面を表す式になります。この場合だと，データが3組あれば，a1, a2, a0 は完全に決まります。この場合も誤差はないので R2=1 です。
独立変数がn個の場合，重回帰式は定数項も含むと n 個の係数を持つ超平面を表す式になりますが，n組のデータがあれば，n次元方程式として解くことができ，R2=1 となります。
ここまでが前提。
n 組のデータがあるとき，n 個の係数を持つ予測式を使えば R2=1 となります。各独立変数は寄与率が全く同じではないが，順番に使っていけば n 個より少ない係数を持つ予測式では R2 < 1 となりますが，最終的には R2=1 になるということです。

No.02380　Re: 独立変数と決定係数との関連について　　【K.K】　2007/01/20(Sat) 18:38

青木先生

とても分かりやすいご回答，誠にありがとうございました。今度は自身で解けるよう，頑張りたいと思います。ありがとうございました。