「統計学関連なんでもあり」の過去ログ--- 043

No.12288　t検定を2度以上してはいけない、の「2度」の定義　　【ZTS】　2010/03/19(Fri) 23:33

t検定を2度以上すると，アルファを変えねばならない，という論理を適用する範囲がいまひとつ理解できません。

第1種の過誤を犯す確率が 0.05であるテストを2回すれば，少なくともそのどちらかで過誤を犯している確率は，1 - 0.95^2 = 0.0975 となるのは理解できます。

その「2回」の意味ですが，一つの論文の中で，2つの実験をして，それぞれでt検定を行う，というのも含むのでしょうか。まったく別のデータに基づく検定，という意味です。

確率論からいうと，別々のデータの場合にも，どちらかで間違っている確率は 0.0975 になるように思えます。もしそうなら，一つの論文の中の2つの実験だけでなく，まったく別々の論文にそれぞれ1つずつ現れる合計2つのt検定についても同じことが言えないでしょうか。

3群あって，A群vsB群，B群vsA群，という2回の検定においてどちらか間違っている確率と，別々の論文のなかの2つのt検定がどちらか間違っている確率に，なにか質的な違いがあるのでしょうか。

No.12290　Re: t検定を2度以上してはいけない，の「2度」の定義　　【青木繁伸】　2010/03/20(Sat) 10:10

> 3群あって，A群vsB群，B群vsA群

「A群 vs B群，B群 vs C群」と書きたかったのでしょうけど

検定の多重性については少なくとも3つ位のレベルがあるでしょう。（Rayan がまとめていたと思いますけどね）

1）多群の比較
　上のような比較の他
2) データセット範囲の多重比較
　群の比較を，複数の変数で行うような場合
3) 研究の範囲の多重比較
　調査を行う母集団が違うとか同じ母集団から複数の標本を採るような場合

1)， 2) の境界ははっきりしたものではない

また，群の比較でも，どのような「検定のセット」を考えるかも，帰無仮説の採否には影響します。

No.12291　Re: t検定を2度以上してはいけない，の「2度」の定義　　【ZTS】　2010/03/20(Sat) 13:43

青木先生　ありがとうございます。

（1）検索してみましたが，Ryan でしょうか？　探して読んでみようと思いますが，その一方で，重ねて質問させてください↓

（2）2 種類の処遇を施すA群とB群があり，処遇の前に，A対Bのt検定をして有意差なし，処遇の後にA'対B' のt検定をして有意差あり，だから処遇の効果があった，という研究はよくあると思いますが，これはやっていけない multiple comparison には入らないですか？

（3）さらに，（2）に加えて，AとA'と，BとB'をそれぞれ対応あるt検定でテストする，と4つのt検定になりますが，これはマズイのでしょうか。

（4）基本的に理解ができないのが，「同じデータに関して...」という表現がなされる時の，「同じデータ」の範囲なのです。AとA’は同じデータになるのでしょうか。同一の被験者から収集した別のデータだと思うのですが。

（5）「まったく関係ない100人の研究者がおこなった100の研究が，それぞれp<.05 で有意という結果を出しているとき，確率的にはそのなかの5人は過誤を犯しているはずだ」という推論は正しいでしょうか？

以上，よろしくお願いいたします。

No.12293　Re: t検定を2度以上してはいけない，の「2度」の定義　　【青木繁伸】　2010/03/20(Sat) 20:41

> （5）「まったく関係ない100人の研究者がおこなった100の研究が，それぞれp<.05 で有意という結果を出しているとき，確率的にはそのなかの5人は過誤を犯しているはずだ」という推論は正しいでしょうか？

正しいです。

確率論的に考えれば，明確な答えが出ます。

No.12294　Re: t検定を2度以上してはいけない，の「2度」の定義　　【ZTS】　2010/03/20(Sat) 22:32

ありがとうございます。

上の（2）や（3）は，単純なYes/Noという答えにはなじまないものでしょうか。

No.12360　Re: t検定を2度以上してはいけない，の「2度」の定義　　【のの】　2010/04/02(Fri) 10:06

興味深いディスカッションですね。
とても興味を持ちました。
(5)は分かりやすい例ですが，同様に考えると本来は，(2)～(4)も多重比較をしていることになるんでしょうね。

実際論文では，問題にしていないと思いますが。

また，多変量解析で，変数ごとに沢山のp値が算出されますが，
その場合はどうなんでしょうね。上記の(2)から(5)とは少し事情が違うような気もします。