「統計学関連なんでもあり」の過去ログ--- 043

No.11097　t検定を行う際の自由度について　　【eruza】　2009/10/19(Mon) 20:16

いつも勉強させていただいております。タイトルの件につきまして，ご質問させていただきます。

現在，t検定を行い，平均の差を検定したい2つのグループをサンプルとして持っています。2つのサンプルは，一方（A群とします）の観測値が3で，そのA群の各観測値と一定の条件でマッチングを行った3つの観測値から構成されるグループ（B群とします）です。
各グループに観測値が3しかない状況で，t検定を行うことは，やはり不適切でしょうか？
たとえ結果がでても，信頼性の低い結果ということになるのでしょうか？
また，このような場合で，ノンパラメトリック検定（ウィルコクソンの順位和検定）を行うことは，t検定の場合と同様，信頼性の乏しい結果を生むことにしかならないのでしょうか？

初心者のため，基本的な質問でお恥ずかしいのですが，ご回答いただければ幸いです。

No.11098　Re: t検定を行う際の自由度について　　【青木繁伸】　2009/10/19(Mon) 21:11

どこかで答えたかなあと言うデジャブな質問ですね。
サンプルサイズが小さいから不適切云々ということではないでしょう。そもそも，検定は，「このサンプルサイズで何が言えるか」と言うことですからね。
しかし，ウィルコクソンの順位和検定なら，3例：3例なら，一番極端な場合であっても，5%の有意水準で両側検定を行うならば，絶対に有意と言うことにはならないということです。
> wilcox.test(1:3, 4:6) # [1, 2, 3] と [4, 5, 6] に差があるかという検定

	Wilcoxon rank sum test

data:  1:3 and 4:6 
W = 0, p-value = 0.1 # 「有意じゃないよ」という結果

alternative hypothesis: true location shift is not equal to 0 

No.11100　Re: t検定を行う際の自由度について　　【eruza】　2009/10/20(Tue) 00:27

青木先生

ご回答くださり，誠にありがとうございます。
サンプルサイズは，検定では問題にならないと伺って，大変勉強になりました。

現在，検定を行いたい変数（levと読んでいます）が，A群では（1.01, 0.65, 0.68)，B群では（0.18, 0.35, 0.30）という値になっております。t検定では，両者の平均に差がないという帰無仮説がP値＝0.0164水準で棄却されております。

ウィルコクソン検定を行った際の結果について，一つお伺いさせていただきたく思います。
ウィルコクソン検定を行った結果は，以下のようになりました。（indexは，A群ならば1，B群ならば0のダミー変数です。）
Two-sample Wilcoxon rank-sum (Mann-Whitney) test

   　　index |      obs    rank sum    expected
-------------+---------------------------------
           0 |        3           6        10.5
           1 |        3          15        10.5
-------------+---------------------------------
    combined |        6          21          21

unadjusted variance        5.25
adjustment for ties        0.00
                     ----------
adjusted variance          5.25

Ho: lev(index==0) = lev(index==1)
             z =  -1.964
    Prob > |z| =   0.0495
先ほどの青木先生のご回答では，ウィルコクソン検定で，5％水準で棄却されることはないとのことでしたが，上記結果は，5％水準で帰無仮説が棄却されているように読めます。このような結果は，どのように解釈すればよろしいのでしょうか？

お忙しいところ大変恐縮ですが，ご回答いただければ幸いです。

No.11105　Re: t検定を行う際の自由度について　　【青木繁伸】　2009/10/20(Tue) 11:33

お使いになった統計解析ソフトは，何でしょうね。実に不適切な答えを何のメッセージもなく出していますね。警告メッセージを出さなくてもわかるだろうということなんでしょうが。
ウイルコクソンの順位和検定の検定統計量は，6（または 15）で，検定統計量の平均値はexpected のところに表示されている 10.5 です。また，adjusted variance は検定統計量の分散です。また，そして，この統計ソフトは，正規近似してP値を求めるんです。z = -1.964 というのは，(6-10.5)/sqrt(5.25) として計算されるのです。この数値が「漸近的に」標準正規分布に従うということから，Prob(|z| > 1.964) ≒ 0.0495 ということです。しかし，漸近近似が有効に働くためには，各群のサンプルサイズは20以上でないと，ちょっと。ということがあります。サンプルサイズが 20以下の場合には，検定統計量から P 値を読み取るための統計数値表があります。この統計解析ソフトは，
http://aoki2.si.gunma-u.ac.jp/lecture/Average/U-test.html
で手計算するよりも悪い結果を表示してしまいます。気の利いた統計解析ソフトは，漸近近似ではなく正確な P 値を表示してくれます。

R で分析すると，以下のようになります。すなわち，P=0.1 となり帰無仮説は採択されます。
> A <- c(1.01, 0.65, 0.68)
> B <- c(0.18, 0.35, 0.30)
> wilcox.test(A, B)

	Wilcoxon rank sum test

data:  A and B 
W = 9, p-value = 0.1 # 正規近似ではない，正確な P 値
alternative hypothesis: true location shift is not equal to 0 

No.11106　Re: t検定を行う際の自由度について　　【青木繁伸】　2009/10/20(Tue) 12:51

> お使いになった統計解析ソフトは，何でしょうね。

STATA ですね？しょうがないなあ。。。

No.11110　Re: t検定を行う際の自由度について　　【eruza】　2009/10/20(Tue) 15:40

青木先生

大変丁寧なご回答をくださり，誠にありがとうございました。
使用しております統計ソフトは，先生がおっしゃる通りSTATAです。

ウィルコクソン検定では，検定統計量が漸近的に正規分布に従うということを仮定しており，したがって，サンプルが非常に小さいときには，近似がうまくいかないことから，誤った検定結果を生んでしまうということですね。サンプルが小さい場合に検定を行うためには，正確なP値を求める（正規分布とは異なる）分布を使用する必要がありますが，STATAでは，それが無視されているとのこと。
大変勉強になりました。

関連して，一つお伺いさせていただきたく思います。

t 検定の場合も，もともとのデータが正規分布に従っていることが仮定されていると理解していたのですが，正規分布に近似するという観点から見ますと，観測値が3のサンプルでは，正規分布に従っていると断定することも，何らかの検定を行ってそれを調べることもできないような気がします。
その点では，t検定の結果は，信頼性を持って見ることができないと結論付けられそうな気がするのですが，いかがでしょうか？

何度もお伺いして大変恐縮ですが，ご回答いただければ幸いです。

No.11111　Re: t検定を行う際の自由度について　　【青木繁伸】　2009/10/20(Tue) 17:30

おっしゃるように，t検定では「もともとのデータが正規分布に従っていることが仮定されている」のです。そして「観測値が3のサンプルでは，正規分布に従っていると断定することも，何らかの検定を行ってそれを調べることもできない」のです。
最初に返ることになりますが，「t検定の結果は，信頼性を持って見ることができない」ともいえます。しかし，データによっては，「データは理論的に正規分布に従う」と十分な信頼性を持っていえる場合があるわけです。全くの空虚な仮定から信頼性のある仮定まで，段階があるということですね。また，t検定の頑健性というのとも関係します。

データを増やす努力をするのがよいでしょうけど，そうもいかないこともあるでしょう。分野や学会誌により基準が違う場合もありますから，先行研究がどのように対処しているかを参考にするのがよいでしょう。

No.11113　Re: t検定を行う際の自由度について　　【eruza】　2009/10/20(Tue) 18:28

青木先生

大変丁寧なご回答くださり，ありがとうございます。

サンプルが小さい場合の解釈について，非常に曖昧な理解しかありませんでしたので，青木先生にご教授いただき，大変勉強になりました。

データを増やすことはなかなか難しいのですが，小さなサンプルを用いて分析を行った際に，どのような問題があるのかを理解しておくだけでも，結果を誤って解釈せずに済みそうです。この度は，誠にありがとうございました。