「統計学関連なんでもあり」の過去ログ--- 040

No.02457　多重共線性　　【ブルー】　2007/01/25(Thu) 21:29

卒業研究でのデータの分析で困っています。
従業員満足度に関する研究をしています。
目的変数を従業員満足度，説明変数を収入，地位，労働環境，労働条件，仕事内容などに対しての満足度とし，重回帰分析を行いました。
（それぞれの変数の数値データはアンケートによる6段階評価によるものです。）
しかし，これらのデータに重回帰分析を行ったところ多重共線性が起こってしまい，安定した回帰式を求めることができませんでした。変数選択をし，変数を少なくすることが考えられると思いますが，変数は減らさずに分析を行いたいと考えています。
そこで，主成分回帰をこのデータに適用しようと考えているのですが，
このようなアンケートによる数値データに主成分回帰を行うことは妥当なのでしょうか。
よろしくお願いします。

No.02458　Re: 多重共線性　　【青木繁伸】　2007/01/25(Thu) 21:36

なぜ「変数は減らさずに分析を行いたい」のでしょう。多重共線性があるなら，問題になるような変数を含める必要はないでしょう。

> アンケートによる数値データに主成分回帰を行うことは妥当なのでしょうか

主成分回帰でも，重回帰分析でも，6段階評価のデータということですが，間隔尺度（比例尺度）を仮定して問題ないのでしょうか（平均値を求めたり分散・共分散行列を計算することに問題ないかということ）?

卒論なら，指導教員に意見を聞くのが一番だと思うのですが，指導教員はなんといっていますか?

No.02459　Re: 多重共線性　　【ブルー】　2007/01/25(Thu) 22:05

さっそくの返信ありがとうございます。

＞なぜ「変数は減らさずに分析を行いたい」のでしょう。
変数を減らさずに回帰式を求めたい理由は，その偏回帰係数を従業員満足度に対する影響度として，表示したいからです。

＞6段階評価のデータということですが，間隔尺度（比例尺度）を仮定して問題ないのでしょうか
以前読んだ文献には5段階以上のアンケートデータは使用できると書いてあったので，使用できると考えました。やはり6段階評価のアンケートデータでは重回帰あるいは主成分回帰をすることは妥当ではないでしょうか？

＞指導教員はなんといっていますか?
指導教員は，多重共線性を解決することばかりを考えずに，アンケートの項目を考え直したほうがいいのではないか？といわれました。

No.02460　Re: 多重共線性　　【青木繁伸】　2007/01/25(Thu) 22:23

一般化逆行列を用いる重回帰分析で解けば，多重共線性で解が出ないと言うことはなくなります。
http://aoki2.si.gunma-u.ac.jp/R/mreg.html
以下に示す例では，x1=x2 だから，普通の重回帰プログラムでは解は求まらない。
一般化逆行列を使うと，x1 と x2 の標準化偏回帰係数が同じになる解が得られる。
> x1 <- x2 <- c(2,1,3,2,1,2,3,4,5,2)
> y <- c(5,4,6,5,4,5,6,8,9,5)
> mreg(cbind(x1, x2, y), func.name="ginv")
$result
                B     SE(B)  t value      P value      beta tolerance
x1       0.637931 0.0349719 18.24125 3.683481e-07 0.4948222         4
x2       0.637931 0.0349719 18.24125 3.683481e-07 0.4948222         4
Constant 2.510345 0.1940862 12.93418 3.838805e-06        NA        NA

$anova
                   SS d.f.          MS  F value      P value
Regression 23.6034483    2 11.80172414 166.3715 1.255498e-06
Residual    0.4965517    7  0.07093596       NA           NA
Total      24.1000000    9  2.67777778       NA           NA

$Rs
         R   R square adj. R sq. 
 0.9896445  0.9793962  0.9735094 

No.02461　Re: 多重共線性　　【ブルー】　2007/01/25(Thu) 22:37

返信ありがとうございます。

＞一般化逆行列を用いる重回帰分析で解けば
プログラムを見ただけではわかりかねるのですが，
上記のことはリッジ回帰をすることと同じことですか？

よろしくお願いします。

No.02462　Re: 多重共線性　　【青木繁伸】　2007/01/25(Thu) 22:52

リッジ回帰はよく知りません。

例示したプログラムは正規方程式を解くとき，普通の逆行列は求まらないが一般化逆行列なら求まるということですから，重回帰分析そのものですよね。

リッジ回帰のできるプログラムがあるなら，上の例を解いてみて同じになるかどうか見ればよろしいのではないでしょうか。

No.02470　Re: 多重共線性　　【ブルー】　2007/01/26(Fri) 12:57

リッジの回帰のプログラムはありませんが，
主成分回帰のプログラムならあります。
主成分回帰の意味がいまいち理解できてないのですが
とりあえず，そのプログラムで試してみます。

No.02481　Re: 多重共線性　　【ブルー】　2007/01/26(Fri) 18:04

主成分回帰を行って気になったことがあるので質問します。

マルチコを避けるために回帰係数が主成分への回帰（朝野,1993）を参考にして主成分回帰を行いました。手順は，まず，
説明変数に対して主成分分析を行い，そこから導出した主成分得点と目的変数で重回帰分析を行い主成分に対する回帰係数を出す。
回帰係数と固有ベクトルとの積和より元のデータに対する回帰係数を求めました。

この回帰係数は目的変数への影響度と考えてもいいのでしょうか？

よろしくお願いします。

No.02482　Re: 多重共線性　　【青木繁伸】　2007/01/26(Fri) 18:55

2460 への補足というか修正

一般化逆行列を使って解を求めるのは，完全に従属で普通のやり方では解が求まらないときにも求まるということにすぎません。
多重共線性は存在するが，普通のやり方でも解は求まるという場合にも当然一般化逆行列を用いるやり方でも，「同じ解が得られます」。そして，その解は，当然，多重共線性の影響を受けている，不安定な不適切な解です。

No.02483　Re: 多重共線性　　【にゃんちゅう】　2007/01/26(Fri) 21:03

>影響度
ということばはどこから来ているのでしょう。文献もしくは言っていた人物とその専門を教えてください。専門用語として言っているのでしょうか？

No.02484　Re: 多重共線性　　【青木繁伸】　2007/01/26(Fri) 21:23

文献の引用をもう少し正確にして頂けると助かります

> マルチコを避けるために回帰係数が主成分への回帰（朝野,1993）を参考にして

No.02485　Re: 多重共線性　　【ファン】　2007/01/26(Fri) 21:25

No.2481
>この回帰係数は目的変数への影響度と考えてもいいのでしょうか？

因果関係として解釈した時には，多重共線性の強い要因を「セットにして考えた時の」影響力ですね。つまり単独の影響力として見ることは（統計的な意味において）できないと。

例えば，豚カツ店の評価を，豚カツ，キャベツ，ソース，店の清潔度，接客態度…に対する個々の評価で説明する時，（豚カツ，キャベツ，ソース）に強い多重共線性が存在したとします。考え得る理由としては，客の味覚は同時に食べる他の物の味覚に支配されるとか，美味しい店はすべてが良く吟味されていて不味い店はすべてがダメとか。

主成分を使って偏回帰係数を推定すれば，b1・豚カツ + b2・キャベツ + b3・ソースという関係式は得られます。しかしこの式が意味するのは，c(a1・豚カツ + a2・キャベツ + a3・ソース)，ただし a1^2 + a2^2 + a3^2 = 1，のような構造であり，セットとしての係数 c は統計的に意味を持っても，各 bi を単独の影響力（例えばキャベツ"だけ"美味しくすると店の評価は b2 上昇）のように解釈できる統計的な事実は存在しない，ということです。

No.02551　Re: 多重共線性　　【ブルー】　2007/01/31(Wed) 15:05

>文献の引用をもう少し正確にして頂けると助かります

申し訳ございません。
文章的にわかりにくいかもしれませんが，詳しくは雑誌のBasic数学1993.4月号p49-55で紹介されている，「朝野　HALBAUによるデータ解析実践」の中で使用されている「主成分への回帰」です。

＞因果関係として解釈した時には，多重共線性の強い要因を「セットにして考えた時の」影響力ですね。つまり単独の影響力として見ることは（統計的な意味において）できないと。

例まで出して頂きありがとうございます。
さらに質問で申し訳ないのですが，説明変数の数を変えずに多重共線性を解決できるような手法はないのでしょうか？

No.02553　Re: 多重共線性　　【にゃんちゅう】　2007/01/31(Wed) 18:00

一般的にはリッジ回帰分析でしょう。因子分析と同じように対角を小さくし
ます。
S.チャタジー・B.プライス『回帰分析の実際』新曜社
あたりを参考にすれば。主成分回帰分析もでていますよ。

No.02557　Re: 多重共線性　　【ブルー】　2007/01/31(Wed) 19:22

＞S.チャタジー・B.プライス『回帰分析の実際』新曜社
あたりを参考にすれば。主成分回帰分析もでていますよ。

ありがとうございます。
早速読んでみたいと思います。

No.02565　Re: 多重共線性　　【ファン】　2007/01/31(Wed) 22:07

No.2551
>説明変数の数を変えずに多重共線性を解決できるような手法はないのでしょうか？

基本的には，「多重共線性が強い」という統計的事実が見つかった，と考えるべきでしょうね。
以下は研究内容を知らないので，ただ思いついた感想（統計学ではない部分）：
1. 説明変数を「満足度」ではなく，客観的な状態で測る。
2. もしも「総合満足度と個別満足度との関係」という分析なら，足し算型（理知的要素）以外に，アバタもエクボ（逆はXX憎けりゃXXまで憎い）とかの人間感情や，上昇志向・優越意識などの価値観を入れた定式化を考えてみる。