「統計学関連なんでもあり」の過去ログ--- 042

No.07370　回帰の分散分析　　【やま】　2008/08/12(Tue) 14:20

回帰の分散分析で，回帰による変動の自由度は，回帰式の変数の数になるのはどのような理由なのでしょう。
また，(全平方和)＝(回帰による平方和)＋(残差平方和)となるとき，自由度も和差の関係にあるのは何故なのでしょう。
ご指導お願いします。

No.07372　Re: 回帰の分散分析　　【青木繁伸】　2008/08/12(Tue) 18:18

直感的な解説を。独立変数が p 個，データ数を n として
全体，回帰，残差平方和をそれぞれ t, r, e とする
tの自由度が n-1 となるのはよいでしょうね。

p=1，n=2 のとき。誤差なく完全に当てはまるので，e の自由度は 0，t の自由度は 1 なので，r の自由度は 1 でしょう（0 でもないし，2 以上でもない）

p=2，n=3 のとき。この場合も誤差なく完全に当てはまるので，e の自由度は 0，t の自由度は 2 なので，r の自由度は 2 でしょう（1 以下でもないし，3 以上でもない）

まあ，これから言えば，回帰平方和の自由度は独立変数の個数になるらしい。

p=1, n=3 のとき。t の自由度は2，r の自由度は 1。e の自由度は n=2 のときに 0 だったものがいきなり 2 以上になるのは考えられないので，そういう意味からも e の自由度は 1 だろう。結局この場合も自由度も 2=1+1 という足し算関係になっている。

上に述べたのは数学的帰納法の第1段階だけで，その後もおなじように成り立つだろうなあというだけなので説得力はないけど，成り立つのが当たり前（というか教科書に書いてあること）なんだからちゃんと証明なり説明する気力もないというのが本当のところかな(^_^;)

No.07373　Re: 回帰の分散分析　　【やま】　2008/08/13(Wed) 11:46

ていねいな説明，ありがとうございます。
tの自由度が n-1となることは理解しています（苦労しましたが）。
実は投稿した後に説明していただいたことと同じことを考えていました。
「回帰平方和の自由度は独立変数の個数」以上に詳しく説明した文献はないんですかね。