「統計学関連なんでもあり」の過去ログ--- 042

No.10461　多重共線性とベイズモデル　　【stat】　2009/07/24(Fri) 15:25

重回帰モデルで多重共線性が発生している場合，かつ変数をどうしても全て入れなければならない場合，階層ベイズモデルは多重共線性に強いという文章を見かけたのですが，その理由はなぜなのか，数式の説明ばかり見つかって，噛み砕いた説明がありません。文系でも分かるように理由をご説明いただけないでしょうか？

No.10465　Re: 多重共線性とベイズモデル　　【にゃんちゅう】　2009/07/26(Sun) 07:20

http://www.math.chuo-u.ac.jp/~sugiyama/17/17-02.pdf

には数式がありますが，十分に文学的表現が入ってます。

通常のリッジ回帰が行列の対角を1でなくてそれより小さい値をいれます。これは主成分分析と因子分析の関係を示唆します。昔の因子分析が対角をSMCなどの方法で1回推測しただけで因子分析の解を求めていたのがリッジ回帰に対応します。それに対して反復推定して解を求めていくのがベイズリッジ回帰ということになります。

いいかげんな説明ですが，文学的といえばこの程度でいいのでは。

No.10466　Re: 多重共線性とベイズモデル　　【にゃんちゅう】　2009/07/26(Sun) 08:00

リッジ回帰は，多重共線性がある場合共分散行列または相関行列が実質よりも大きな値をとっているのでそれをなるべく実際の大きさに近づけるためにとりあえず対角のみを小さくするものです。

No.10498　Re: 多重共線性とベイズモデル　　【Sai】　2009/07/28(Tue) 11:02

私もそんなにベイズに詳しいわけではないのですが，あくまで個人的な意見を述べさせてください。
多重共線性というのは，「説明する群間分散がほとんど同じ要因」が二つ以上一つのモデル式に入っているから起こるのだと認識しています。例えば身長を予測するのに，右足の長さと左足の長さを両方使って予測するときなど。
またこのときの最も単純なモデル式は以下のようになるかと思います(文系といえどもモデル式は読まなければならないと思います)。

Height = right_leg + left_leg

このような場合には上記の理由から高い確率で多重共線性が検出されることと思います。

一方ベイズモデルは変数間に階層構造を自然と組み込むことができます。上の例の場合ですと，身長を予測するのに，右足の長さを使って予測する。だが，右足の長さというのは左足の長さによって予測することができる。といった具合でしょうか。モデル式で書くと，以下の三行になって，

Height = right_leg #身長は右足で予測する

right_leg ~ dnorm(left_leg, sigma)#だが右足の期待値は左足の長さで決まっている(とする)

left_leg ~ dnorm(mean, sigma2)#左足の長さは，何かしらの正規分布に従う(とする)

といった感じでしょうか。真ん中が右足の事前分布。一番下が左足の事前分布であり，右足の事前分布の事前分布(超事前分布)。

この場合，右足と左足に従属関係を認めたモデリングになっていることがわかると思います。最初の例では右足と左足が独立関係でしたね。

ベイズに関して詳しくは北大の久保先生の統計学授業のペイジに書かれているので，一度読んでみることをオススメ致します。
http://hosho.ees.hokudai.ac.jp/~kubo/ce/EesLecture2008.html

なお，私は私の書いたことに全く自信はありません。私自身は以下のような資料から上のような理解を果たしました。モデル式を見ると上の例のような似たような階層構造があることがわかると思います。リンク先からpdfに飛んでください。
http://motoshi.tk/bayes2009/

文系ということでこのような資料も。いずれにしても勉強は必要でしょう。
http://www.sk.tsukuba.ac.jp/SSE/degree/h19/200620853.pdf