「統計学関連なんでもあり」の過去ログ---037

★ 検定結果が信用できる条件 ★

9856.　検定結果が信用できる条件　河村　2006/04/20 (木) 13:32
├9858.　Re: 検定結果が信用できる条件　てつのしん　2006/04/20 (木) 14:15
└9857.　Re: 検定結果が信用できる条件　青木繁伸　2006/04/20 (木) 13:51
　└9859.　Re^2: 検定結果が信用できる条件　河村　2006/04/20 (木) 14:47

9856.　検定結果が信用できる条件　河村　　2006/04/20 (木) 13:32

対応のある場合の有意差検定をt検定で行っていますが，標本数が少なくてもt検定結果は信頼できるのでしょうか？

例えば，5標本しかなくても，たまたま5つの値が近接していると，t検定では有意差ありと出ます。しかし，それをもって「1万件ある母集団についても差は有る（危険率●％）」と結論するには，直観的に抵抗感があります。
例えば「標本数が何個以上ならt検定結果が信頼できる，ないし意味を持つ」といった一般的な基準はありますでしょうか？

何となく思う観点を1つ示しますと，原理的にはt分布をなすと期待される場合でも，5標本でヒストグラムを書いたのでは，とても山型の分布曲線には見えませんよね。そこからt分布の平均値と標準偏差を計算して検定にもっていくのは，強引すぎるように思えるのです。
一方，100標本くらいあれば，ヒストグラムがなんとか山の形に見える場合が多いだろうから（原理的にはt分布をなすと期待される場合です），t分布をフィッティングしても許されるような気もします。
しかし，許される／許されないの境界がどこにあるのかは分かりません。

皆様のお知恵を頂ければ幸いです。

　　　　　[このページのトップへ]

9858.　Re: 検定結果が信用できる条件　てつのしん　　2006/04/20 (木) 14:15

私も初心者ながら申し上げますが，考え方として2種類の母集団からそれぞれいくつかの標本をとってきて，それが明らかにことなる値のものだった。と考える。そのとき，「とってきた」のがランダムであったんだから，その値の差がもともとの2種類の母集団の母平均に差があると判断される。そんなイメージでないですか？

　　　　　[このページのトップへ]

9857.　Re: 検定結果が信用できる条件　青木繁伸　　2006/04/20 (木) 13:51

誤解があるようなのでまずその指摘。
標本データのヒストグラムがt分布に従うわけではありません。

標本サイズが小さくても，検定で出てくるp値は正確です。

しかし，本当に差がある場合に差があるといえる確率（検定力）がどの程度であるかということなども考慮したいと言うことでしたら，Power analysis を行うことをお勧めしておきます。

繰り返しになりますが，検定の仕組みを正しく理解しているかどうか，復習してみてください。

　　　　　[このページのトップへ]

9859.　Re^2: 検定結果が信用できる条件　河村　　2006/04/20 (木) 14:47

早速のご回答ありがとうございました。
Power Analysisの何たるかを含め，一旦調べてみます。

　　　　　[このページのトップへ]