「統計学関連なんでもあり」の過去ログ---006

★ 重回帰分析の説明変数に主成分分析の各主成分を採用 ★

　127　重回帰分析の説明変数に主成分分析の各主成分を採用　　山鹿　始　　2000/01/30 (日) 11:21
　　132　Re: 重回帰分析の説明変数に主成分分析の各主成分を採用　　出口慎二　　2000/01/30 (日) 15:42
　　　135　Re^2: 重回帰分析の説明変数に主成分分析の各主成分を採用　　マンボウ　　2000/01/30 (日) 20:37
　　130　Re: 重回帰分析の説明変数に主成分分析の各主成分を採用　　マンボウ　　2000/01/30 (日) 14:27

127.　重回帰分析の説明変数に主成分分析の各主成分を採用　　山鹿　始　　2000/01/30 (日) 11:21

それぞれの相関が高い説明変数を利用して重回帰分析を行おうとしています。

説明変数を合成することで，多重共線性という問題を回避しようと考えているのですが，そのため主成分分析を行い，説明変数を変換して，重回帰分析に適用する，というやり方は適切でしょうか?

　　　　　[このページのトップへ]

132.　Re: 重回帰分析の説明変数に主成分分析の各主成分を採用　　出口慎二　　2000/01/30 (日) 15:42

> 説明変数を合成することで，多重共線性という問題を回避しようと考えているのですが，そのため主成分分析を行い，説明変数を変換して，重回帰分析に適用する，というやり方は適切でしょうか?

説明変数同士が無相関になる，という意味で，多重共線性の回避にはなると思います.但，その主成分が被説明変数を説明する要因として上手く解釈できるのかに注意.

主成分分析の結果を利用して，あらかじめ変数選択を行い，説明変数を絞り込んでおく，という方法も考えられます.こちらの方が解釈しやすいのでは.

上記の方法が上手くいくのかは，まず説明変数群を主成分分析にかけて，その結果を見てから判断することになると思います.

あと，私は知らないのですが，「主成分への回帰（RPC:Regression on Principal Component）」（朝野，1982，1993）という方法は，多重共線性対策で使用するものではないのでしょうか?どなたかご存知でしたらレスお願い致します.

　　　　　[このページのトップへ]

135.　Re^2: 重回帰分析の説明変数に主成分分析の各主成分を採用　　マンボウ　　2000/01/30 (日) 20:37

主成分回帰というのは，ものすごく簡略化していえば，各データ点から予測直線への垂直距離（予測直線と垂直に交わる方向での距離）の二乗和を最小にするということかな。

重回帰は，各データ点から予測直線への，従属変数軸と平行な方向での距離（実測値-予測値）の二乗和を最小にするということ。

だと，理解しているのですが，間違えているかな

　　　　　[このページのトップへ]

130.　Re: 重回帰分析の説明変数に主成分分析の各主成分を採用　　マンボウ　　2000/01/30 (日) 14:27

ちょっと考えたところでは意味ないと思うけど，どうでしょうか

y=A(ax1+bx2+…)+B(ux1+vx2+…)
となって，カッコの中が主成分得点というだけでしょう。

重回帰式そのものがある意味で合成変数ですからね。
重回帰の合成変数が従属変数と相関が高くなるように作られるのに対して，主成分分析はそのような外的基準がないわけだけど。

　　　　　[このページのトップへ]