「統計学関連なんでもあり」の過去ログ--- 042

No.08760　検定の多重性　　【田中】　2008/12/26(Fri) 00:20

検定の多重性がいまいちわかりません。
A,B,Cの3群の比較にα<.05でT検定を3C2=3回繰り返し行うと，
α=1－（1－0．05）＾3＞0．05
となるのはわかります。
だからα＜0.05/3で検定をしなさいというのですよね。
それをボンフェローにの補正っていうとこまでは勉強しました。
しかし，検定が間違っている確率（第1種の過誤を起こす確率）は検定をしてから出るものなのになんで最初に補正するのかわかりません。
つまり，どうしてもこうかんがえてしまうのです。

実際に繰り返し検定をやってみたとします。

AB：P=0.02
BC：P=0.02
CA：P=0.001

であったとします。すると，AB，BC,CA，それぞれが本当は差がない確率がそれぞれ2%，2％，0.1％なのだから，帰無仮説を棄却できる確率（2つの間に差がある確率）がそれぞれ98%，98%，99.9%
なわけですよね。だから，どれか一つが間違っている確率は
100％－98％×98％×99．9％≒4％
となります。
だからA，B，Cのうち少なくともどれか一つの組み合わせには差があることが5％未満の確率で言えます。つまり有意水準は検定の結果のP－VALUEから判断できると考えてしまい，なんであらかじめα＜0.05/3でやるのかわかりません。

検定の多重性として他にもこうかんがえてしまうのですが，この考えが間違ってるのはわかります。しかし何が間違ってるのかお馬鹿すぎてわかりません。

ABという主張があったとします。そしてAかつBからCという結論を導きたいとします。
いま，A,Bという主張が，検定によってそれぞれP＝0.03であることがわかったとします。ということは，A,Bという主張は97%の確率で正しいと言えると考えられます。
だから，結論Cは97%×97％＝94％の確率であってることになります。
一般的に95％以上の確率で正しいといえるものが正しいとするから（一般的にP<0．05を関連あり，有意差あり，とする），結論Cが正しいというのは検定の多重性から問題がある判断となる。しかし，A,BともにP=0.01ならば，Cは99％×99％＝98％
で正しいと言え，検定の多重性の問題は起こらない。

おばかな私にご教授ください。

No.08762　Re: 検定の多重性　　【kai】　2008/12/26(Fri) 08:46

多重比較は統計を厳密に適用する医薬系で使われる手法です．

このような分野では結果を見てから基準を変えることは恣意的に結果を帰られることになり問題なので，最初にどのような統計手法を使うのかとか，サンプルサイズはどれくらい必要かとか判定基準（p値）を決めておくということではないですか？

補正という言葉の印象の問題もあると思うのですが，検定の判定基準を決めているだけのことです．p値は0．05というのも一つの判定基準であり，場合によっては0．01で考える場合もあります．検討課題によっては0．1に設定する場合もあります．

No.08763　Re: 検定の多重性　　【知ったかぶり】　2008/12/26(Fri) 09:14

＞A，B，Cのうち少なくともどれか一つの組み合わせには差があることが5％未満の確率で言えます。
「どれか一つ」ではなく，全ての組合せをひっくるめて，有意水準が保たれる必要があるということです.

＞ABという主張があったとします。そしてAかつBからCという結論を導きたいとします。
これは，そもそも検定の多重性が問題とならない（多重比較をしてはいけない）ケースです.A，Bがともに有意であった場合のみ意味があるわけですから，検定は2回行っていても全体としての帰無仮説は1つです.

No.08765　Re: 検定の多重性　　【青木繁伸】　2008/12/26(Fri) 09:31

> ，AB，BC,CA，それぞれが本当は差がない確率がそれぞれ2%，2％，0.1％なのだから，帰無仮説を棄却できる確率（2つの間に差がある確率）がそれぞれ98%，98%，99.9%
なわけですよね。

ちょっと変でしょ？

No.08773　Re: 検定の多重性　　【田中】　2008/12/27(Sat) 15:15

>kaiさま
返信ありがとうございます。
その説明だとよくわかります。
結果を見て判断するのではなく最初から判断基準を用意すべきである，ということですね。

＞知ったかぶりさま
返信ありがとうございます。
よく本にもすべてをひっくるめて，ていうのがかいてありますが，実際はどういうことなのでしょうか。ANOVAの帰無仮説は「すべての群で平均値がおなじ」ですよね。だから対立仮説は「少なくともどれか一つの群で平均値がことなる」かとおもいました。したがってANOVAの多重比較を繰り返しのt検定でN回行うとすれば，N回のうち，少なくともどれか一つの帰無仮説が棄却できない確率がp＜0.05の範囲で行えばOKなのですよね？

ここの過去ログにもありましたが，
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc017/277.html

F検定で等分散性の検定を行ってからANOVAを行うのは検定の多重性には当たらない，ということによく似てるかと思いました。しかし青木先生のHPでは
http://aoki2.si.gunma-u.ac.jp/lecture/Average/oneway-ANOVA.html
のように，これを検定の多重性と記述されてます。

F検定で当分散の検定を行ってANOVAを行う場合をアドバイスに従ってこう考えました。

きむ仮説を「等分散でない，または，多群の平均値が等しい」
対立仮説が「等分散かつ多群の平均値が異なる」
F検定がP=0.03で，ANOVAがP=0.04とすると，
きむ仮説を棄却できる確率は
1－（1－0．03）×（1－0．04）＝0.069
となり，単にそれぞれのP値が0.05以下だからと言ってしまうと多重性が起こる，と考えるのは過去ログからするとおかしいということですよね。

＞青木繁伸さま
返信ありがとうございます。
1－αの値はきむ仮説を棄却できる確率以外のものが含まれているということですか。でもそれが何かわかりません。返信を拝見して，私の言うきむ仮説を棄却でいる確率，というのは検出力なのだから1－βだと思いましたが，では1－αの中にはどんな可能性があるのでしょうか。

勉強不足ですみません。