「統計学関連なんでもあり」の過去ログ--- 046

No.20434　検定手法を使って確率を算出した後の処理　　【香川県立Ｔ高校（石頭で限界）】　2013/11/08(Fri) 21:13

（本題には関係ありませんが，青木先生が高校の先輩であるということが判明しました。素人で頭も固くなって壁にぶち当たりました。どうか何卒よろしくお願いいします。）
たとえば，A群とB群について，t検定とかマンホイットニーのU検定などで，Z値を出して，正規分布などの分布表を使って有意差がある確率を出したとします。
A群とB群だけの比較であれば，たとえば有意水準90％とか出ると，母集団に差がある確率が90％とか言う言い方が出来るのかと思います。（まず，ここまでは正しいのでしょうか？）
そして，AとBだけの比較ならこれでいいのですが，他にもCとD，EとFなど100組の組み合わせでそれぞれ計算するとします。
そうすると，たとえばすべての組に実際は母集団に差がない（極端に言えばすべて乱数を発生させてシミュレーションした）としても，そのうち平均的に考えて10組は優位水準90％以上という数字出るのではないかと思います。
そうしたときに，100組の中から，優位水準が90％以上の組み合わせをすべて（たとえば10組）取り出して，この10組は優位水準（母集団に差がある確率）が90％（以上）だというのは明らかにおかしいと思うのですが，いかがでしょうか。上位10組が90％を超えるのは当たり前だと思うからです。このような際に，90％と出た組み合わせについて，母集団に差がある確率をどのように表現すればいいのでしょうか？何か補正して確率で表現する手法はありませんでしょうか？
どうかよろしくお願いします。

No.20435　Re: 検定手法を使って確率を算出した後の処理　　【青木繁伸】　2013/11/08(Fri) 21:24

> 有意水準90％とか出ると，母集団に差がある確率が90％とか言う言い方が出来るのかと思います。（まず，ここまでは正しいのでしょうか？）

正しくありません。
そもそも，有意水準は検定を行う前に定めるもので，普通 5% とか 1% まれに 0.1% とかに設定されます。そして，「母集団に差がある確率」ではありません。

> 100組の中から，...母集団に差がある確率をどのように表現すればいいのでしょうか？何か補正して確率で表現する手法はありませんでしょうか？

「多重比較」という用語で検索してみてください。

No.20436　Re: 検定手法を使って確率を算出した後の処理　　【香川県立T高校（石頭で限界）】　2013/11/08(Fri) 22:19

青木先生
早速回答いただきましてありがとうございました。
まず，優位水準という言葉の使い方を間違えていました。

通常ですと，仮説を立てて，優位水準を5％とかまず決めて検定するのだと思いますが，
私のこのケースの場合，どうしても，仮説が棄却されたか，それとも棄却されないとかそういうバイナリー的な結論ではなくて，確率がどれくらいか？という数字で説明したいという面があります。

そうしたときに，まずは，A群とB群の1組の比較をした場合に，いわゆるP値が10％であれば，母集団間に差がある確率が90％と言えるのでしょうか？　というのが1つ目の質問の意味でした。

そして，1組だけなら上記のとおりでですが同じような検定を100組実施し，そのうち，P値が10％以下の組み合わせだけを選んで，その10組は母集団間に差がある確率が90％だという言い方は，高いものだけを選んだわけですから当然であり，やはり無理があると思います。
このような際に，この母集団間に差がある確率が高いと思われる10組について，その確率はどのように表現したらいいのでしょうか？　という質問です。

また，ちなみに，多重比較についてですが，この100組は全く異質の量であり，平均値や分布の状況がそれぞれ違います（正規分布等ではない）ので，多重比較はできないのではないかと思います。

どうかよろしくお願いします。

No.20438　Re: 検定手法を使って確率を算出した後の処理　　【香川県立T高校（石頭で限界）】　2013/11/09(Sat) 01:47

青木先生
たびたびすいません。いろいろと勉強して，やっとおっしゃる意味がわかりました。
BH法，あるいはABH法のような補正をしてみます。
素人ながら，私が思っていたことは先人が疑問に思って解決してきたことだということがわかり，目から鱗であると同時に，自分としてもピントはずれではなかったということで，満足しています。なんとなく，私のイメージでは，Bonferroni法とかHolm法に近いイメージがあったのですが，それならかなり有意差があるというものが少なくなってしまって，あまり意味のない分析になる可能性があり，心配していましたが，BH法とかABH法というのがあり，検定の意味を損なわないということがわかり，安心しました。
簡潔な答えで私に考えさせていただき，答えに行き着くことができました。
どうもありがとうございました。
目から鱗の連続です。