「統計学関連なんでもあり」の過去ログ--- 041

No.06286　独立変数の標準偏差と有意さとの関係　　【eruza】　2008/04/06(Sun) 00:12

回帰分析における独立変数の標準偏差と推定後の係数の有意さについて関係があるかどうか教えていただければと思います。
現在，回帰分析において4つの回帰式を推定しています。4つのモデルの違いは，回帰式に含められる変数が一つだけ異なる（他の独立変数は同じ）というところだけです。4つのモデルで異なっている変数は，それぞれ似通った計算式で求められる4つの比率を使っているのですが，その4つの変数のうち，標準偏差が高い2つの変数だけは，それぞれを含めたモデルで有意さが得られないという結果になっています。4つの変数は，もともと似通った計算方法で求められたものであるために，何らかの要因が回帰結果に反映されているというよりも，標準偏差が高いということが回帰結果に何らかの影響を与えているのかもしれないと悩んでいるところです。
見当違いな質問でしたら，大変恐縮なのですが，お教えいただければ幸いです。

No.06287　Re: 独立変数の標準偏差と有意さとの関係　　【青木繁伸】　2008/04/06(Sun) 00:33

独立変数の標準偏差の大きさは，偏回帰係数の有意性とは無関係ですよ。
以下のような例を分析してみるとわかるでしょう。x2 は x を二倍したものですから，標準偏差も2倍になりますが，y を従属変数としたときの x と x2 の偏回帰係数が0であるかどうかの検定の P 値は同じです。
> y <- c(40, 39, 49, 62, 61, 51, 43, 59, 67, 56)
> x <- c(42, 63, 50, 52, 55, 46, 50, 57, 60, 44)
> x2 <- x*2
> sd(x)
[1] 6.887186
> sd(x2)
[1] 13.77437 # 標準偏差は二倍
> summary(lm(y~x)) # x で y を予測
【中略】
Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  33.5278    25.5041   1.315    0.225
x             0.3694     0.4876   0.758    0.470 # P 値に注目

> summary(lm(y~x2)) # x2 で y を予測
【中略】
Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  33.5278    25.5041   1.315    0.225
x2            0.1847     0.2438   0.758    0.470 # P 値に注目

No.06288　Re: 独立変数の標準偏差と有意さとの関係　　【eruza】　2008/04/06(Sun) 01:00

青木先生，ご回答くださりありがとうございました。
独立変数の標準偏差と偏回帰係数とは無関係であることを示すわかりやすい例をありがとうございます。提示してくださった例では，最小二乗法を用いた推定を行われているのでしょうか？推定方法として最尤法を使った場合も同様の結果になるのでしょうか？
もしよろしければ，最尤法を用いた場合についてもお教えいただければ幸いです。