「統計学関連なんでもあり」の過去ログ---035

★ 主成分分析と固有値の関係について ★

8059.　主成分分析と固有値の関係について　ZION　2005/10/23 (日) 01:31
└8060.　Re: 主成分分析と固有値の関係について　青木繁伸　2005/10/23 (日) 09:15
　└8081.　Re^2: 主成分分析と固有値の関係について　ZION　2005/10/25 (火) 00:14

8059.　主成分分析と固有値の関係について　ZION　　2005/10/23 (日) 01:31

多変量解析の主成分分析について教えて下さい．
主成分分析では，固有値は主成分の分散と同じになると本に書かれており，不思議な気がして調べ始めました．
(1) 2変量データ(x,y)について主成分zの分散が最大となるように主成分の方向(u,v)を決定するのが出発点．但し，u^2+v^2=1とする．
(2) z=ux+vyの分散V(z)=u^2・V(x)+v^2・V(y)+2uv・Cov(x,y)を最大化する(u,v)をLagrangeの未定乗数法で求めることを考える．
　F(u,v,λ)=u^2V(x)+v^2V(y)+2uvCov(x,y)-λ(u^2+v^2-1)
(3) 未定乗数法によって課される式は，
　∂F/∂u= 2uV(x)+2vCov(x,y)-2λu=0
　∂F/∂v= 2uCov(x,y)+2vV(y)-2λv=0
　∂F/∂λ = -u^2-v^2+1=0
で上の2つの式を行列で表現すると，たしかに
　(分散共分散行列)×(u,v)' = λ(u,v)'
の形になり，分散共分散行列の固有ベクトルを求める問題に帰着されました．
(4) また，それらをV(x)とV(y)について解き，V(z)の式の右辺に代入すると，V(z)=λが導かれました．
(5) 主成分分析には，分散共分散行列を使わずに，相関係数行列を使う方法もあるので，相関係数行列で，V(z)=λを確認しようとしましたが，どうしても上の流れをその方向に持って行けませんでした．V(z)を最大化することと相関係数をどう関係させればよいか分からなかったからです．

質問なのですが，相関係数行列を用いた主成分分析でも，V(z)=λは成立するのでしょうか？　もしそうなら，どういう流れで考えたらそれを確認できるでしょうか．
もうひとつあって，主成分分析が固有値問題に帰着されるのは，(3)のところで，たまたま式の形がそうなっただけに過ぎないのでしょうか？　もっと深いつながりがあるような気がしてならないのですが・・・

　　　　　[このページのトップへ]

8060.　Re: 主成分分析と固有値の関係について　青木繁伸　　2005/10/23 (日) 09:15

標準化したデータ行列について分散共分散行列を求めれば，それは相関係数行列と同じです。ですから，どのようなデータから出発しようと原理は同じです。

　　　　　[このページのトップへ]

8081.　Re^2: 主成分分析と固有値の関係について　ZION　　2005/10/25 (火) 00:14

V(z)を最大化することと相関係数を関連付けれました.
どうも有り難う御座いました．

　　　　　[このページのトップへ]