「統計学関連なんでもあり」の過去ログ--- 040

No.03185　変数を絞るための主成分分析　　【アキヤマ】　2007/04/11(Wed) 19:58

ロジスティック回帰にて分析したいデータがあります。しかし，独立変数の数が約500であり，ケースの数が約150です。データは（0，1）の二値データです。このため，過去ログの9428～9455にあるように，独立変数だけを主成分分析してみようと思います（SPSSを使用）。過去ログ9454の指摘（変数の個数が観察数より多いので，もし全部の変数を使ったら当然そのようになるでしょうね。変数選択オプションはつけたのでしょうか？）にある「全部の変数を使わない方法」がわかりません。アドバイスを頂けると幸いです。

No.03186　Re: 変数を絞るための主成分分析　　【青木繁伸】　2007/04/11(Wed) 21:47

「過去ログ9428～」と言われてもねぇ
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc037/09428.html
ですね

分析に使用する変数としては全部を指定，ただし，実際には変数選択オプションを指定してその中の重要な変数から選択して分析してねと言うお願いをする

それが，SASでできるかどうかは私には分からない。

No.03187　Re: 変数を絞るための主成分分析　　【アキヤマ】　2007/04/11(Wed) 22:21

青木先生，過去ログの引用の仕方がまずく申し訳ありませんでした。
小生，spssを用いているのですが，主成分分析をする時に，「分析に使用する変数としては全部を指定，ただし，実際には変数選択オプションを指定してその中の重要な変数から選択」という行為はspssではどうすれば行えるのでしょうか？低次元の質問なのでしょうが，どなたかご存知の方，ご教示頂けませんでしょうか。

No.03190　Re: 変数を絞るための主成分分析　　【青木繁伸】　2007/04/11(Wed) 23:37

あ，SPSS も base と exact しか持っていないし，それもほとんど使わないので，SPSS でできるかどうか，どうやって書くかもわかりません。

No.03194　Re: 変数を絞るための主成分分析　　【にゃんちゅう】　2007/04/12(Thu) 09:50

質問がねじれているようです。
(1)主成分分析を使って変数を絞る。
(2)ロジスティック回帰分析にステップワイズを使用する。
この2つは別物です。
(1)は単に主成分分析をして，主成分を代表する項目をロジスティック回帰分析に投入するということになります。もしくは主成分得点をロジスティック回帰分析する。

(2)はSPSSがステップワイズを既定値としているので普通にやればやってくれます。そのときに，「オプション」において，投入，除去に関する指定をしてやれば，結果に影響がでます。

No.03209　Re: 変数を絞るための主成分分析　　【アキヤマ】　2007/04/13(Fri) 20:32

ご指摘ありがとうございます。小生が知りたいことは，まさに（1）の「主成分分析を使って変数を絞る」ことです。約500の変数と約150のケースで主成分分析をすると，「この行列は正値行列ではありません」と表示され，第一主成分の分散の％が96％となり，変数を絞れませんでした。これは，「変数の数＞ケースの数」によると知りました。変数の内容から，重要な変数を選べばよいのでしょうが，どの変数が重要な内容を表しているかは不明です。（重要な内容の変数群を知りたくて，変数を絞った後に，別に従属変数があり，ロジスティック回帰をしようとしているのです。）そこで，変数をどのように，ケースの数以下の変数に分けて，主成分分析をすればよいのかが，わかりません。分析者が任意に分けて良いものでしょうか。分け方の方法が確立されているのでしょうか。ご教示頂ければ幸いです。

No.03210　Re: 変数を絞るための主成分分析　　【青木繁伸】　2007/04/13(Fri) 20:54

主成分分析をしてから変数を選択して，それを用いてロジスティック回帰を使用としているのは分かっているんですが，結局は，

> どの変数が重要な内容を表しているかは不明です

ということ以上に

> この行列は正値行列ではありません

という状況に陥る。これを避けるだけなら Q モード主成分分析という手も無いことはないが，前者の問題はいずれ立ちはだかるだろうと。

だから，結局は，直接，変数判別を伴うロジスティック回帰をしたらいかが？というながれです。

にゃんちゅうさんが，「(2)（つまり，ロジスティック回帰分析にステップワイズを使用する）はSPSSがステップワイズを既定値としているので普通にやればやってくれます」と，保証してくれているんですから，なんで，すぐにやってみないのか，不思議，です。ねぇ。

No.03217　Re: 変数を絞るための主成分分析　　【にゃんちゅう】　2007/04/14(Sat) 14:27

(1)
>約500の変数と約150のケースで主成分分析をすると，「この行列は正値行列ではありません」と表示され，
(2)
>第一主成分の分散の％が96％となり，変数を絞れませんでした。

主成分分析ですから，(1)の表示は無視していいのですが，計算をどうしたかの問題があります。SPSSなどは計算をしないという行動をします。
さて，(2)が正しく主成分分析をしたのなら，そういう結果ということです。基本的にすべての変数が同じことを調べていたということでしょう。一応，変数を分割して60くらい笑んでみて主成分分析をしても第1主成分が同じようになるかチェックしてみたらどうですか。

No.03221　Re: 変数を絞るための主成分分析　　【アキヤマ】　2007/04/15(Sun) 21:07

青木先生，にゃんちゅう先生，ご指摘ありがとうございます。
変数増加法（尤度比）でロジスティック回帰をしてみたら，
SPSSは分析をしてくれました。投入と除去の値を変えて，
最適なモデルを見つけたいと思います。