「統計学関連なんでもあり」の過去ログ---027

★ 説明変数に名義尺度が入る場合の重回帰分析手順 ★

1551.　説明変数に名義尺度が入る場合の重回帰分析手順　加藤浩介　2003/12/30 (火) 03:07
├1554.　Re: 説明変数に名義尺度が入る場合の重回帰分析手順　冨田雅一　2003/12/30 (火) 11:19
│└1555.　Re^2: 説明変数に名義尺度が入る場合の重回帰分析手順　冨田雅一　2003/12/30 (火) 14:35
└1552.　Re: 説明変数に名義尺度が入る場合の重回帰分析手順　青木繁伸　2003/12/30 (火) 10:06

1551.　説明変数に名義尺度が入る場合の重回帰分析手順　加藤浩介　　2003/12/30 (火) 03:07

目的変数：間隔尺度Y
説明変数：名義尺度X1（5カテゴリー），間隔尺度X2，間隔尺度X3，間隔尺度X4
を初期モデルとして重回帰分析を行いたいと考えています。
Y＝a1*X1+a2*X2+a3*X3+a4*X4+c

変数が間隔尺度のみで構成される重回帰分析の場合，変数間の相関係数行列を求めてから，(1)目的変数との相関が高い説明変数を選ぶ，(2)相関の高い説明変数は片方を省く（多重共線性を避ける）ことに注意して最適モデルを決定する；標準化偏回帰係数が変数の説明力を表す；と認識しています。また，各説明変数が目的変数に対して独立に影響しているかどうかは，多元配置分散分析（ANOVA）で検定できる。説明変数どうしが独立かどうかは，χ2 検定により検定できる，と認識しています。

今回のように，説明変数に名義尺度が含まれる場合，どのような手順を踏めばよいのでしょうか？ダミー変数を用いた重回帰分析の結果から数量化I類による結果を導いて，変数間の相関係数行列を求め，以下は重回帰分析の場合と同様である，と私は考えていますが自信がありません。別の文献には，共分散分析を用いると書いていましたが，理解できませんでした。何卒，よろしくお願い申し上げます。

　　　　　[このページのトップへ]

1554.　Re: 説明変数に名義尺度が入る場合の重回帰分析手順　冨田雅一　　2003/12/30 (火) 11:19

ごく普通に，説明変数にダミー変数を含む重回帰分析ではいけないのですか。なぜ「数量化I類による結果を導いて，変数間の相関係数行列を求め」ようとしているのかわかりません。というのは，数量化I類とは説明変数がすべてダミー変数であるところの重回帰分析（相違点：多重共線性の回避，アイテム内の平均値＝0，目的変数の平均値からの偏差を説明）だからです。また，変数間の相関係数行列は必ずしも必要ないと思います。これが必要とされるのは，モデルの定式化のときか，多重共線性の疑いがあるときです。

ご存知のように，もし X に一次独立でないベクトルが存在すると， X'X のランクが落ち，行列式 det(X'X)=0 となり，それを分母とする逆行列 (X'X)^-1 は定義されません。そのため説明変数 X 内に互いに強い相関（多重共線性）が存在すると行列式 det(X'X) は0に近い値となるため， X'X の逆行列を計算できず，偏回帰係数 b=(X'X)^-1*X'Y を求めることができなくなります。「説明変数どうしが独立かどうかは，χ2 検定により検定」するのは，多重共線性を検出するためと思います。ならば，行列式 det(X'X) を計算してもよいでしょう。なお，条件数=(最大固有値/最小固有値)^1/2 という基準があって，20 以下であることが逆行列計算の目安です。条件数については Greene"Econometric Analysis (4th edition)" P40 を参照して下さい。

説明変数の独立性は多重共線性対策には有効だと思いますが，変数選定の基準にはなりません。重回帰分析には，説明変数を増やせば決定係数はそのままか大きくなる（少なくとも減りはしない）という落し穴があります。つまり，独立性を基準に変数を選定すると，目的変数とまったく因果関係のない変数を説明変数に組み込んでしまうことにもなり兼ねません。Greene"Econometric Analysis (4th edition)" P233-239 を参照して下さい。

さて，ご質問の「どのような手順を踏めばよいのでしょうか？」とは，「標準化偏回帰係数が変数の説明力を表す」とご指摘の通り，係数についてt検定をすればよいのではないでしょうか。青木先生の重回帰分析のページhttp://aoki2.si.gunma-u.ac.jp/lecture/Regression/mreg/index.htmlをご覧下さい。

> 別の文献には，共分散分析を用いると書いていました
どんな分析を計画されているのですか。私も分散分析ないし共分散分析を勉強し始めたばかりなので知りたいのです。

　　　　　[このページのトップへ]

1555.　Re^2: 説明変数に名義尺度が入る場合の重回帰分析手順　冨田雅一　　2003/12/30 (火) 14:35

> 「標準化偏回帰係数が変数の説明力を表す」とご指摘の通り，係数についてt検定をすればよいのではないでしょうか。青木先生の重回帰分析のページhttp://aoki2.si.gunma-u.ac.jp/lecture/Regression/mreg/index.htmlをご覧下さい。

と，私もまた先生の重回帰分析のページを拝見したところ，標準化偏回帰係数とは標準化したデータに基づく偏回帰係数のことであるのに，自分は，t値を求めることの意味に誤解していることに気づきました。

　　　　　[このページのトップへ]

1552.　Re: 説明変数に名義尺度が入る場合の重回帰分析手順　青木繁伸　　2003/12/30 (火) 10:06

質問がよく理解できなかったので，いかの回答が役立つかどうかわかりませんが。。。

名義尺度をダミー変数に変換して他の間隔尺度変数と一緒に重回帰分析を行えばいいと思いますが？

変数選択の段階では，ダミー変数のうち一つでも必要（不要）になったら，セットで採用（除去）するという点に留意。

名義尺度が従属変数にどのように影響を与えているかは，個々のダミー変数の標準化偏回帰係数で判定するが，全体をまとめて評価するためには，数量化I類の場合と同じく偏回帰係数を計算してやればよい。

重回帰式全体としての検定は，ダミー変数を使っての回帰の分散分析でよい。

http://aoki2.si.gunma-u.ac.jp/lecture/Regression/mreg/dummy-variable/result.html
http://aoki2.si.gunma-u.ac.jp/LaTeX/sreg-qt1.pdf

　　　　　[このページのトップへ]