「統計学関連なんでもあり」の過去ログ---011

★ 重回帰分析する際の多重共線性の対処法? ★

　101　重回帰分析する際の多重共線性の対処法?　　Tatsuya Iwashige　　2000/11/16 (木) 12:45
　　102　Re: 重回帰分析する際の多重共線性の対処法?　　nobody　　2000/11/16 (木) 13:01
　　　122　Re^2: 重回帰分析する際の多重共線性の対処法?　　Tatsuya Iwashige　　2000/11/19 (日) 21:27
　　　　123　Re^3: 重回帰分析する際の多重共線性の対処法?　　Tatsuya Iwashige　　2000/11/19 (日) 21:32
　　　　　133　Re^4: 重回帰分析する際の多重共線性の対処法?　　マンボウ　　2000/11/21 (火) 00:07
　　　　　　134　Re^5: 重回帰分析する際の多重共線性の対処法?　　マンボウ　　2000/11/21 (火) 00:27
　　　　　　　170　Re^6: 重回帰分析する際の多重共線性の対処法?　　Tatsuya Iwashige　　2000/11/22 (水) 21:33
　　　　　　　　171　Re^7: 重回帰分析する際の多重共線性の対処法?　　Tatsuya Iwashige　　2000/11/22 (水) 21:35

101.　重回帰分析する際の多重共線性の対処法?　　Tatsuya Iwashige　　2000/11/16 (木) 12:45

先日はアドバイスありがとうございます。また質問いたします。
目的は，ある精神疾患の治療法が有効な人を性格特性から予測することです。方法として，MMPIという550項目からなる性格検査を69ケースに施行しました。各項目の回答はダミー変数を用い，1100個の独立変数としました。また従属変数は，改善群を1，不変群を0としました。SPSSにて重回帰分析を行い，20個の独立変数を選択しました。
質問は，共線性の対処法が次のやり方で良いかどうかです。許容度，VIF，条件指標より2個の変数の共線性が疑われ，単相関係数が0.7でした。そこで標準偏回帰係数の値の小さい変数を除いた19個を重回帰分析すると，いくつかの独立変数の有意確率が5%以上になってしまいました。このため，元の1100個から1個削除した1099個の独立変数について重回帰分析を行いました。この繰り返しにて，共線性のない20個の変数を見つければ良いのでしょうか?

　　　　　[このページのトップへ]

102.　Re: 重回帰分析する際の多重共線性の対処法?　　nobody　　2000/11/16 (木) 13:01

> 各項目の回答はダミー変数を用い，1100個の独立変数としました。

MMPI は回答の選択肢は3つでしたか。

> SPSSにて重回帰分析を行い，20個の独立変数を選択しました。

なぜ重回帰分析を行ったのでしょうか。普通は判別分析だと思います。
（2群の場合には両者は等価ではありますが）
（多重共線性のチェックがやりたかったのでしょうか）

> 2個の変数の共線性が疑われ，単相関係数が0.7でした。そこで標準偏回帰係数の値の小さい変数を除いた19個を重回帰分析すると，

2個の変数のいずれかを除いたと言うことですね。

> いくつかの独立変数の有意確率が5%以上になってしまいました。このため，元の1100個から1個削除した1099個の独立変数について重回帰分析を行いました。この繰り返しにて，共線性のない20個の変数を見つければ良いのでしょうか?

多重共線性の疑われる1個を除いた19個から変数選択すればいいのでは?
（しかし，なぜ1個だけ除くことができるのでしょうか?）
（一つの質問項目が2つのダミー変数に展開されているのなら，セットで除かないといけないと思うのだが）

　　　　　[このページのトップへ]

122.　Re^2: 重回帰分析する際の多重共線性の対処法?　　Tatsuya Iwashige　　2000/11/19 (日) 21:27

ご指摘ありがとうございます。
> MMPI は回答の選択肢は3つでしたか。
3つです。ハイを（10），どちらでもないを（00），イイエを（01）としました。

> なぜ重回帰分析を行ったのでしょうか。普通は判別分析だと思います。
入門書を読みました。治療効果の予測と，どんな性格の人に有効か（従属変数に強い影響を与える独立変数がわかる）の両方を知るのには，重回帰分析が一番と思い込みました。今回入門書の判別分析の章を読み，標準化された線型判別関数係数が得られるのを知りました。私の統計学の知識は初歩の初歩です。

>（2群の場合には両者は等価ではありますが）
重回帰分析の理解をもう少し進めたいを思います。そこで，(Re^3に続きます）

　　　　　[このページのトップへ]

123.　Re^3: 重回帰分析する際の多重共線性の対処法?　　Tatsuya Iwashige　　2000/11/19 (日) 21:32

> 多重共線性の疑われる1個を除いた19個から変数選択すればいいのでは?
> （しかし，なぜ1個だけ除くことができるのでしょうか?）
> （一つの質問項目が2つのダミー変数に展開されているのなら，セットで除かないと> いけないと思うのだが）
変数選択をした20個の中から多重共線性の疑われる変数を1個除きました。この変数とペアになるダミー変数は選択した変数の中にはありませんでした。19個で重回帰分析をすると，自由度調整済み決定係数は，0.893でしたが，偏回帰係数の検定で5%水準で有意とならない変数が4個出現しました。一方，多重共線性が疑われる変数とダミーでセットとなる変数の2個を，元の1100個の独立変数から削除して，重回帰分析をしました。19個の変数を選択すると，自由度調整済み決定係数は，0.960で，偏回帰係数の検定でもすべて5%水準で有意でした。しかし，上記の19個と同じ変数は6個だけでした。この点より，後者のやり方で19個を選んだ方が良いと考えたのですが?・・・ぜひアドバイスをお願い致します。

　　　　　[このページのトップへ]

133.　Re^4: 重回帰分析する際の多重共線性の対処法?　　マンボウ　　2000/11/21 (火) 00:07

> 変数選択をした20個の中から多重共線性の疑われる変数を1個除きました。

だから，その変数選択をするときに，逆に言えば，選ばれたダミー変数と対になるダミー変数も必ずセットで選択されないといけないのではないか?ということでは?

　　　　　[このページのトップへ]

134.　Re^5: 重回帰分析する際の多重共線性の対処法?　　マンボウ　　2000/11/21 (火) 00:27

> だから，その変数選択をするときに，逆に言えば，選ばれたダミー変数と対になるダミー変数も必ずセットで選択されないといけないのではないか?ということでは?

SPSS は（も）よく知らないんだけど，コックスの比例ハザードモデルのプロシージャーでダミー変数を使うと，セット単位で変数選択してくれるようになっているそうなんだけど。
重回帰分析ではそのような機能は用意されていないのでしょうか。
多重ロジスティックでも用意されていないでしょうかね。

　　　　　[このページのトップへ]

170.　Re^6: 重回帰分析する際の多重共線性の対処法?　　Tatsuya Iwashige　　2000/11/22 (水) 21:33

（その1）アドバイス，ありがとうございます。
> だから，その変数選択をするときに，逆に言えば，選ばれたダミー変数と対になるダミー変数も必ずセットで選択されないといけないのではないか?ということでは?

spssに問い合わせてみました。重回帰分析では，ペアとなるダミー変数をセットで処理する機能はないということでした。しかし，spssの回答スタッフが，ダミー変数を作って試してくれました。変数選択をした際に，ある変数が選択された時そのペアとなるダミー変数は選択されなかったそうです。これは私が得た結果と同じです。結論としては，「理屈は良く分からないけれど，ペアとなるダミー変数は選択されない」ということでした。（Re^7に続きます）

　　　　　[このページのトップへ]

171.　Re^7: 重回帰分析する際の多重共線性の対処法?　　Tatsuya Iwashige　　2000/11/22 (水) 21:35

（その2）Re^3の後半で述べたいことを整理します。重回帰分析にて，1100個の独立変数から，20個の変数を選択（ステップワイズ法）しました。共線性のある変数1個とそのペアとなる変数1個を，元の1100個の変数から削除して，1098個の変数で重回帰分析をしまた。そして1100個の変数から選んだ19個と1098個の変数から選んだ19個を比較すると，選択された最初の5個のみが同じ変数で，それ以下は異なった変数が選択されました。どちらの選択法が適切なのでしょうか? あるいは，ケースの数が69と少ないから，信用できる変数の数は最初の5個だけということでしょうか?

　　　　　[このページのトップへ]