「統計学関連なんでもあり」の過去ログ--- 042

No.07642　重回帰モデルの回帰係数について　　【回帰入門者】　2008/09/15(Mon) 17:34

重回帰モデル：Y = X b + ε の回帰係数の導出について調べているのですが，本やサイトによって，次の2通りの表現があります。
　b = (X'・X)^(-1)・X'・Y (I)
　b = Cxx^(-1)・Cxy (II)
ただし，'は転置，^(-1)は逆行列，・は積を表しています。また，CxxはXの分散共分散行列，CxyはXとYの共分散ベクトルです。

(I)と(II)の表現は等しいのだと思いますが，なぜでしょうか？

どうぞよろしくお願い致します。

No.07643　Re: 重回帰モデルの回帰係数について　　【青木繁伸】　2008/09/15(Mon) 19:03

分散共分散行列と共分散ベクトルがどのように表されるか考えれば，同じものだというのは自明でしょう？

No.07644　Re: 重回帰モデルの回帰係数について　　【回帰入門者】　2008/09/15(Mon) 19:53

早速お返事を頂きありがとうございます。

Xの各要素を，Xの各列の要素の平均で置き換えた行列をXmとおきます。また，Yの各要素を，Yの全要素の平均で置き換えたベクトルをYmとおきます。すると，

Cxx = (1/n)(X-Xm)'(X-Xm)
Cxy = (1/n)(X-Xm)'(Y-Ym)

であって，これらを(II)に代入すると，

b = ((X-Xm)'(X-Xm))^(-1)・(X-Xm)'(Y-Ym)

となるかと存じます。しかし，この表現がどうして(I)と同じになるのか，恐縮ですがまだ理解できません。申し訳ありません。

No.07645　Re: 重回帰モデルの回帰係数について　　【青木繁伸】　2008/09/15(Mon) 20:30

＞ b = (X'・X)^(-1)・X'・Y (I)

としている教科書で，X, Y がどのように定義されているかを再確認されるとよいと思いますけど？

なんでもそうですけど，記号が表すものがなんなのかは，明示されているはずなので，そこからスタートしないと訳が分からなくなるのは当然のような気がします。場合によっては，慣例と違った定義からスタートしているものもあるので，混乱の元になるのでしょう。当然，その記述が間違っていると言うこともある（著者自身が混乱している）でしょうけど。

No.07646　Re: 重回帰モデルの回帰係数について　　【回帰入門者】　2008/09/15(Mon) 22:52

再度，貴重なコメントをいただきありがとうございます。

回帰データの大きさをn，説明変数の数をpとおくと，
b = (X'・X)^(-1)・X'・Y　　　(I)
としているサイトでは，Xを次のように定義していました。

1 x11 x12 … x1p
1 x21 x22 … x2p
… … … … …
1 xn1 xn2 … xnp

この場合ベクトルbにも，切片b0が含まれます。

一方，
b = Cxx^(-1)・Cxy　　　(II)
としているサイトでは，Xを次のように定義していました。

x11 x12 … x1p
x21 x22 … x2p
… … … …
xn1 xn2 … xnp

私は，後者のXを使って，(I)(II)両方を計算し，合わないと苦しんでいたようです。それぞれのXを使って計算しなおした結果，(I)(II)が同じ結果を与えることがわかりました。

今後は定義に気をつけて参ります。どうもありがとうございました。