「統計学関連なんでもあり」の過去ログ--- 040

No.03266　主成分分析における固有値の意味　　【iwamoto】　2007/04/26(Thu) 08:13

「主成分を抽出する」問題が「固有値と固有ベクトルを求める」問題へと帰着される(つまり同義である)事は理解できるのですが，
最大固有値に対応する固有ベクトルが，データの分散を最大とする軸になる理由が良く理解できません。

どのテキストを見ても「最大固有値に対応する固有ベクトルを第一主成分とする。その主成分は分散を最大とする軸である」とは書いてあるのですが，
なぜそうなるのかが書いてありません。固有値の値は何を意味しているのでしょうか。

固有値の和が分散の和であることも理解できるので，固有値の値が分散の和への寄与率であることも理解はできます。

しかし，最大固有値に対応する固有ベクトルが必ず分散を最大とする軸である理由が良くわかりません。

よろしくお願いします。

No.03267　Re: 主成分分析における固有値の意味　　【青木繁伸】　2007/04/26(Thu) 08:31

二変数の場合について考えると良いでしょう。

No.03269　Re: 主成分分析における固有値の意味　　【iwamoto】　2007/04/26(Thu) 09:46

返信ありがとうございます。
わかりやすい図を提供してくださったので，これを利用してもう一度自分の質問を整理してみました。

なぜ固有ベクトルが図のf1'とf2'ではなく，f1とf2になるのかという事です。

つまり，Var(f1)+Var(f2) が Var(f1')＋Var(f2')　より大きくなる，または
Var(f1) がすべての可能な軸に対する分散，Var(fk) where k!=1 より大きくなる根拠が良く理解できていません。

ページ http://aoki2.si.gunma-u.ac.jp/lecture/PCA/pca1.html の2に
* 各合成変量の相関が 0 である。
* 合成変量の分散 Var( Zi ) は，Var( Z1 ) ≧ Var( Z2 ) ≧ … ≧ Var( Zm ) である。
とありますが，f1'とf2'もこの条件を満たしていないでしょうか。

No.03271　Re: 主成分分析における固有値の意味　　【青木繁伸】　2007/04/26(Thu) 10:41

x1:x2軸上でデータの変動を考えると，点線で描いた各軸への垂線の足までの長さ（座標値）の二乗和は原点からデータまでの長さの二乗に等しい（ピタゴラスの定理）。
f1: f2軸上では，原点から d1, d2 までの距離の二乗和は原点からデータまでの長さの二乗に等しい。d1 を最大にすれば，d2は最小になる。そう言う意味で f1 軸上での二乗和（d1の二乗和）が最大になるのは，確率楕円の長軸になるとき。そのときf2軸上での二乗和は最小になる。
3次元以上の場合も同様。
言葉で書くとわかりにくいかな。

No.03272　Re: 主成分分析における固有値の意味　　【iwamoto】　2007/04/26(Thu) 11:35

早速の対応，ありがとうございます。
たいへんよくわかりました。

＞ Var(f1) がすべての可能な軸に対する分散，Var(fk) where k!=1 より大きくなる根拠が良く理解できていません。
f1上で分散 Var(f1) が最大になる事は理解できました。

最後の質問です。
曖昧で同じ質問の繰り返しのようにも聞こえますが，もう一度だけ質問させてください。

Var(f1)+Var(f2)＝Var(f1')＋Var(f2')　のようなケースは起こりえないのでしょうか?
例えば，f1:λ1=5，f2:λ2=1で分散の和を6(最大)だとした場合，f1':λ1=4，f2':λ2=2と言う軸のペアはあり得ないと言う事でしょうか。

何度もすみません。

No.03273　Re: 主成分分析における固有値の意味　　【青木繁伸】　2007/04/26(Thu) 11:52

直交するどのような軸を考えても，二つの軸（変数）での分散の和は元の軸での分散の和に変わりないわけです。
そのような座標軸のうち，一つの軸での分散が最も大きいというのは一つしかなく，それが楕円の長軸。直交する軸での分散は最小になり，それは楕円の短軸であるということ。
そして，固有値は長軸方向（第一主成分）での分散と短軸方向（第二主成分）での分散になっているということです。