「統計学関連なんでもあり」の過去ログ--- 042

No.08640　主成分分析の結果と符号　　【きみか】　2008/12/15(Mon) 14:16

主成分分析をpcaとprincomp2を用いて行ないました。ケース数は106で変数の数は4つです。

princomp2 の第一主成分は全て負の値になりました。以前の"[8316へのレス(8317)] Re: 主成分負荷量が全てマイナス"を拝見したところ，符号を反転させても問題ないとのことでしたが，princomp2の第2主成分と第3主成分の符号を反転させると，pcaの結果と逆になってしまいます。符号の反転は各主成分毎に行なえば，よろしいのでしょうか。

お手数をおかけ致しますが，教えて頂けないでしょうか。よろしくお願い致します。下記に結果を示します。

pcaの解析結果
              PC 1       PC 2         PC 3       
変数1      0.7043305  0.6207678 -0.007067213 
変数2 　　 0.8273815  0.1781987 -0.233440200  
変数3    　0.7221360 -0.5430485 -0.345374715 
変数4      0.7801026 -0.2467741  0.573680039 

princomp2の解析結果
          PC1     PC2     PC3 
変数1   -0.704   0.621  -0.007     
変数2   -0.827   0.178  -0.233     
変数3   -0.722  -0.543  -0.345     
変数4   -0.780  -0.247   0.574

No.08641　Re: 主成分分析の結果と符号　　【青木繁伸】　2008/12/15(Mon) 14:43

> 符号の反転は各主成分毎に行なえば，よろしいのでしょうか。

その通り。

>> 主成分分析や因子分析で，固有値や主成分負荷量，因子負荷量，主成分得点，因子得点は，主成分（因子）単位で符号を反転させても，

と書いてありますよ。

No.08642　Re: 主成分分析の結果と符号　　【きみか】　2008/12/15(Mon) 15:30

申し訳ありません。お手数をおかけ致しました。ありがとうございます。
何度も申し訳ありませんが，結果の解釈の仕方を悩んでおります。もし，お時間ありましたら，コメント頂けないでしょうか。
princomp2の解析結果
          PC1     PC2     PC3 
変数1   -0.704   0.621  -0.007     
変数2   -0.827   0.178  -0.233     
変数3   -0.722  -0.543  -0.345     
変数4   -0.780  -0.247   0.574  
主成分3では，変数4と正の相関，変数3と弱い負の相関がみられます。そのため変数4の値が大きいほど，変数3の値が小さいほど，主成分得点3の値が大きくなるのだと解釈しております。

実際の値と，主成分得点の値とを見比べてみますと，変数3,4の値が大きいものと，変数3,4の値が小さいものが，同じような主成分得点を示しています。

主成分3のようなケース（変数4の値が大きく，変数3の値が小さい）は，全ケース（100)のうち，1つか2つです。

主成分3も使いたいのですが，このような場合使うことに，意味がなくなってしまうのでしょうか。

コメントを頂ければ嬉しいです。

No.08643　Re: 主成分分析の結果と符号　　【青木繁伸】　2008/12/15(Mon) 16:10

> 実際の値と，主成分得点の値とを見比べてみますと，変数3,4の値が大きいものと，変数3,4の値が小さいものが，同じような主成分得点を示しています。

> 主成分3のようなケース（変数4の値が大きく，変数3の値が小さい）は，全ケース（100)のうち，1つか2つです。

相関係数行列からスタートする主成分分析でしょう？だったら，元の変数ではなく，各変数ごとに正規化されたデータが使われる（だからこそ，共分散行列が相関係数行列に等しくなる）のですから，もとのデータではなく，標準化したデータについて解釈してください。

No.08644　Re: 主成分分析の結果と符号　　【きみか】　2008/12/15(Mon) 17:14

早速のお返事をありがとうございます。

>だったら，元の変数ではなく，各変数ごとに正規化されたデータが使われる（だからこそ，共分散行列が相関係数行列に等しくなる）のですから，もとのデータではなく，標準化したデータについて解釈してください。

標準化したデータをみますと，変数3,4の値がともに正を示すものと，変数3,4の値がともに負を示すものが，主成分得点3の値において0から1を示します。

主成分3は変数4の値が正で，変数3の値が負の場合に得点が高くなるため，上記の場合，主成分3とは特に関連しないとの解釈でよろしいのでしょうか。

何度も申し訳ありません。
よろしくお願い致します。

No.08645　Re: 主成分分析の結果と符号　　【青木繁伸】　2008/12/15(Mon) 18:15

> 上記の場合，主成分3とは特に関連しないとの解釈

「何が，主成分3とは関連しない」のですか。

最初に指摘しておくべきでしたが，固有値はどうなっていますか？
第1主成分の固有値は 2.31，以下，第2，第3主成分の固有値は0.77, 0.50 ぐらいではないのですか（主成分負荷量を二乗して列和を求めた）。とすると，有効な主成分は第1主成分だけでしょう。

No.08646　Re: 主成分分析の結果と符号　　【にゃんちゅう】　2008/12/15(Mon) 18:18

主成分分析は第1主成分をパーシャルアウトした行列から第2主成分を抽出します。第3因子は第1，第2主成分をパーシャルアウトした行列から抽出します。

ということで，いわゆる偏相関のようなものになってます。そのため第1主成分で説明できた部分をのぞいているため，もとの変数の関係が第3主成分ではもとの相関と同じようにはならないのです。数値を見てみると，第1主成分，第2主成分は同一変数3，4が同一方向になっているので，同一方向の関係はこれで十分説明できているのでしょう。

因子分析でも同一のことがおこります。よくある誤解ですね。

No.08647　Re: 主成分分析の結果と符号　　【きみか】　2008/12/15(Mon) 19:24

青木先生

早速のお返事ありがとうございます。
>最初に指摘しておくべきでしたが，固有値はどうなっていますか？
第1主成分の固有値は 2.31，以下，第2，第3主成分の固有値は0.77, 0.50 ぐらいではないのですか（主成分負荷量を二乗して列和を求めた）。とすると，有効な主成分は第1主成分だけでしょう。

ご指摘の通り，第2主成分と第3主成分の固有値は1以下です。ただ，第1主成分の寄与率が57.8%でしたので，第2主成分と第3主成分も含めて考えた方が良いかと思っておりました。
第1主成分から第3主成分までの累積寄与率は90%となります。

もともとやりたかったことは，主成分得点を用いて散布図を描き，それぞれのケースの傾向を示したかったのです。主成分1と2を用いて散布図を描くと，ケースの傾向は大きく2つに分かれます（仮にグループ1と2)。
グループ1と2を分けるには，第一主成分得点のみを用いて，クラスター解析を行なった方がよいのでしょうか。

にゃんちゅうさま，コメントありがとうございます。まだまだ勉強中の身で，知識不足を痛感しております。ありがとうございます。

No.08648　Re: 主成分分析の結果と符号　　【青木繁伸】　2008/12/15(Mon) 21:04

> グループ1と2を分けるには，第一主成分得点のみを用いて，クラスター解析を行なった方がよいのでしょうか。

全変数（標準化した変数）を用いてクラスター分析。もしくは，第4主成分まで使ってクラスター分析。

No.08649　Re: 主成分分析の結果と符号　　【きみか】　2008/12/15(Mon) 22:39

本当にありがとうございます。
解析を行なってみます。