「統計学関連なんでもあり」の過去ログ--- 043

No.12476　重回帰分析と共分散分析の違い　　【はじめまして】　2010/04/19(Mon) 20:17

初めまして。いつもこちらで勉強させていただいております。

仲間内（統計家ではない医学系の研究者）で議論したのですが，重回帰分析と共分散分析は，何が違うのでしょうか？

もちろん，同じデータを分析してみれば，全く同じでないことは明らかです。
しかし違いはごくわずかで，結論（有意か否か，どの変数が重要そうか）が変わることはありませんでした。

実践的には投稿先で親しまれているほう，とか，平均値の差に興味があるなら共分散分析，とか，各独立変数が与える影響（標準化偏回帰係数）の多寡を比べるには重回帰分析，とか，統計ソフトが交互作用項を勝手に作ってくれるのは共分散分析，とか，VIFを計算してくれるのは重回帰分析，とか，ありますが。

本質的には変わらないのではないか，というのが仲間内での結論で，あとは統計家に聞かないとわからないね，という話になり，こちらに投稿いたしました。

いかがでしょうか。
違うということであれば，どう使い分けるのでしょうか。
同じということであれば，計算結果のわずかな違いは，何に起因しているのでしょうか（どういう意味があるのでしょうか）

No.12478　Re: 重回帰分析と共分散分析の違い　　【波音】　2010/04/19(Mon) 21:17

たしかに，どの説明変数が応答変数をより良く説明しているかという観点でみれば，重回帰分析も共分散分析も本質的には同じといえます。しかし，統計モデルも結果の解釈（特に交互作用の解釈など）も大きく異なります。したがって，

>　平均値の差に興味があるなら共分散分析，とか，各独立変数が与える影響（標準化偏回帰係数）の多寡を比べるには重回帰分析，とか，統計ソフトが交互作用項を勝手に作ってくれるのは共分散分析，とか，VIFを計算してくれるのは重回帰分析，とか，

という意見は賛成しかねるところです(^_^;)

>　違うということであれば，どう使い分けるのでしょうか。

重回帰分析というのは，説明変数がいずれも連続型である：

　Y = X1 + X2　（X1もX2も連続型）

一方で共分散分析というのは，説明変数に連続型とカテゴリカル型が混在している：

　Y = X1 + A　（X1は連続型，Aはカテゴリカル型）

という違いがあります。ちなみに，応答変数Yはどちらも連続型です。

蛇足ですが，説明変数がカテゴリカル型のみの　Y = A + B（AもBもカテゴリカル型）　というモデルはいわゆる分散分析にあたります。もちろん，これも応答変数Yは連続型です。

No.12479　Re: 重回帰分析と共分散分析の違い　　【はじめまして】　2010/04/19(Mon) 23:58

お答えいただき，誠にありがとうございます。目から鱗です。
下記，私の理解が合っていると良いのですが……

　カテゴリカル型は，性別や職業など，飛び飛びの値をとるもので，連続型は，身長や体重など，小数点以下もとる値，ですよね。
　重回帰分析は全ての説明変数が連続型のときに合う統計モデルを採用していて，分散分析・共分散分析は説明変数にカテゴリカル型を含むときに合う統計モデルを採用している，ということを理解しました。

　なら，ロジスティック回帰は，医学論文では説明変数がカテゴリカル型であることのほうが多いですが，本質的には説明変数が連続型であるべきなのかな，とも思いました（応答変数の型の違いのためにリンク関数を線形とするかロジットとするか，の違いですよね）

　交互作用の解釈が異なる，という点を，もう少し教えてもらえないでしょうか。
　重回帰分析では，交互作用項を作って説明変数とし，有意であったら，交互作用項が応答変数との線形関係を持っている，と考えます。
　分散分析では，交互作用効果があったら主効果は無視して，単純主効果を検討し，どのグループ間に差があるかを検討すると学びました（実際にやったことはありません）。交互作用効果があるということは，主効果で説明しきれない応答変数の変動（分散）を交互作用効果で説明できるということですから？，交互作用項が応答変数との線形関係を持っているのと同じ？かと思ったのですが……

　ややこしくなってしまっていたら，申し訳ありません。
　何卒よろしくお願いいたします。

No.12482　Re: 重回帰分析と共分散分析の違い　　【青木繁伸】　2010/04/20(Tue) 07:39

> ロジスティック回帰は，医学論文では説明変数がカテゴリカル型であることのほうが多いですが，本質的には説明変数が連続型であるべきなのかな，とも思いました

ロジスティック回帰でも重回帰でも，二値データ・カテゴリーデータはダミー変数にして使います。連続変数である必要はありませんし，説明変数に連続変数とカテゴリー変数が混じっていても一向差し支えありません。

No.12485　Re: 重回帰分析と共分散分析の違い　　【波音】　2010/04/20(Tue) 09:51

>　交互作用の解釈が異なる，という点を，もう少し教えてもらえないでしょうか。

重回帰分析の場合: Y = X1 + X2 + X1:X2は，X1:X2は単純に"かけ算の関係"です（乗法的にYへ影響する）。

共分散分析の場合: Y = X + A + X:A（Interaction Model）については，例えばAが男性と女性という2水準をもつカテゴリカル型であるとします。交互作用が有意であるということは，図でいえば男性と女性とでそれぞれ異なった傾きの回帰直線がひかれるということです。

もしY = X + A（Additive Model）ならば，男性と女性それぞれに切片のみが異なる（つまり平行な2本の）回帰直線がひかれることになります。また，Aが有意出なければ単純な回帰分析と同じで1本の回帰直線（正確にいえば2本の回帰直線がピッタリと一致して重なる）がひかれることになります。

ちなみに，一般化線形モデルの枠組みで考えるとロジスティック回帰分析というのは応答変数がカテゴリカル型である場合なのですが，(1)2値データ，(2)3水準以上の名義尺度データ，(3)順序尺度データ，(4)比率データ，といった4つの場合によって使い分け（Rの操作方法も）が若干異なります。

Alan Grafen and Rosie Hails (2008) Modern Statistics for the Life Sciences, Oxford University Press.

が参考になります（日本語訳本もあります）。

No.12496　Re: 重回帰分析と共分散分析の違い　　【はじめまして】　2010/04/20(Tue) 14:22

詳しく教えていただき，ありがとうございます。
統計モデルが異なる，ということを理解できたような気がします。
気のせいですまないよう，Alan Grafen先生の本も購入しました。

これまで共分散分析は真面目には用いたことがなく，統計モデル上は共分散分析のほうがふさわしいデータ（カテゴリカル変数を含む）にも，重回帰分析を行っていました。今度からよく考えたいと思います。