「統計学関連なんでもあり」の過去ログ--- 045

No.17232　対応のない被験者間比較　　【田中】　2012/07/23(Mon) 10:12

control群の平均に対して，さまざまな薬剤を投与した群（実験群）の平均を比較したいのですが，効果を確かめたい薬剤（test）の種類が増えていくと（現在15種類），Bonferroniの調整もしくはDunnettの検定を行った際に，現在行っている実験で得られる平均の差とばらつきの精度では，有意差を出すのが難しくなってきます。

　　control　vs　(test1,　test2,　test3,　・・・)

多重比較で第1種の過誤が増す問題は分かってはいるのですが，それぞれの薬剤の効果は独立なのに，効果を確かめたい薬剤の数を増やすと，大きい平均の差が必要になるというのが，直感的に納得がいきません。
実験デザインがおかしいのでしょうか。

他のやり方として考えたのは，たとえば，効果を確かめたい薬剤ごとに，新しくcontrol群としてデータをとれば，単にそれぞれ対応のないt検定で比較すればいいと思うので，有意差は出やすいと思うのですが，controlはすべて同じ条件で，test1用やtest2用として得られるわけではないので，違和感を感じます。

　　(control vs test1), (control vs test2), (control vs test3), ・・・

基本的なところだと思うのですが，色々教科書を読んでいても，この掲示板の検索でも解決できませんでしたので，どなたかご教授下さると助かります。

薬剤の数が増えれば有意差が出ないのは仕方がないのか，そうでなければ，どのような検定をすべき，もしくはどのような実験を組むべきなのでしょうか？

No.17233　Re: 対応のない被験者間比較　　【青木繁伸】　2012/07/23(Mon) 10:21

> それぞれの薬剤の効果は独立なのに，効果を確かめたい薬剤の数を増やすと，大きい平均の差が必要になるというのが，直感的に納得がいきません。

結論を誤る確率（第一種の過誤）が 0.05 のとき，検定を 20 回行うと，帰無仮説が正しくても 1 回は帰無仮説が棄却されるという結果が出るというのが「直感的」でしょう。

> 効果を確かめたい薬剤ごとに，新しくcontrol群としてデータをとれば，単にそれぞれ対応のないt検定で比較すればいいと思うので，有意差は出やすいと思うのですが

これも，同じことですね。

要するに，何回も検定を行うというところに原因があるのです。

なお，「有意差を出す」というのは用語法としても，統計学的観点からも不適切です。

No.17235　Re: 対応のない被験者間比較　　【田中】　2012/07/23(Mon) 11:33

早速のご返事大変助かりました。
やはり件の実験デザインでは，実験数が増えれば母集団が異なっていても検出できなくなるということですね。

ただ，統計学的な点では納得しているのですが，件の実験結果は統計学的に扱いづらい実験計画なので，僕が抱えているジレンマが生じるのでしょうか。
ジレンマというのは，もしtest1とcontrolの母集団が異なる場合，両者からサンプルをとって，t検定すればよいと思うのですが，このような実験を違う薬剤でも繰り返してしまうと，大きい差がなければ検出できなくなるという問題です。
そうだとすると，運用上としては，違う論文として発表すれば問題ないのに，一つの論文にすると問題ということになるような気がします。
そういうものなのでしょうか。

ANOVAだと薬剤投与効果があることは分かっても，test1の薬剤が平均を減らすのかどうかわかりませんし…。

No.17236　Re: 対応のない被験者間比較　　【青木繁伸】　2012/07/23(Mon) 11:38

> やはり件の実験デザインでは，実験数が増えれば母集団が異なっていても検出できなくなるということですね。

実験デザインをちゃんと立てる必要はあるでしょう。
どれくらいの差を検出するのか
そのためには，多重性を考慮した上でサンプルサイズは幾つ必要か
「実験数が増えるから検出できなくなる」のは，個別の有意水準が下がるためなのだから，検出力をちゃんと考えて，サンプルサイズを確保すべきなのですよ。サンプルサイズが小さければ，検定の多重性によって検出できないのは当たり前です。

> もしtest1とcontrolの母集団が異なる場合，両者からサンプルをとって，t検定すればよいと思うのですが

薬剤ごとに対照群を用意しても，検定の多重性という点では，何も変わりません。

> 違う論文として発表すれば問題ないのに，一つの論文にすると問題ということになるような気がします。
> そういうものなのでしょうか。

「検定ファミリー」というのを理解すべきです。
「ひとつの論文でひとつの検定にすればよい」というのではなく，「さまざまな薬剤を投与して効果を確かめることの全体」が検定ファミリーです。

No.17237　Re: 対応のない被験者間比較　　【田中】　2012/07/23(Mon) 12:07

どうやら僕の質問は，
No.154
前後で論じられていたのと同じ問題のようですね。
投稿前にこの記事も読んではいたのですが，理解が足りず申し訳ありませんでした。

当時ご紹介されてました
　　永田・吉田(1997)『統計的多重比較法の基礎』サイエンティスト社
を読んで，件のデータのどれが同じ検定ファミリーなのか調べてみようと思います。
助かりました。ありがとうございました。

No.17238　Re: 対応のない被験者間比較　　【田中】　2012/07/23(Mon) 14:57

ご紹介の本を読んでいて，検定ファミリーを規定するのは作業仮説らしく，僕の知りたいことはcontrolに対してそれぞれの薬剤の効果があるかどうかなので，やはり最初のBonferroniの調整もしくはDunnettの検定が適切なのだと思いました。

なお，僕の疑問だった「効果を調べる薬剤の数を増やすと検出できなくなる」と言っていたのは，薬剤数をたとえば100とかにすると必要なp値がかなり低くなるので，サンプルサイズを膨大にしても検出できないだろうと思っていたためでした。
今簡単に計算したら，これはおそらく間違っていて，もとの検定でp<0.05だったのなら，サンプルサイズを少し大きくすればp<0.0005にするのは難しくないのですね（僕の場合今のn=10を30くらいにすればなりそうでした）。
サンプルをかせげない難しい実験だと多薬剤の効果は調べないほうがよさそうですが，簡単な実験ならご指摘のようにサンプルサイズを増やせば解決するのですね。
ありがとうございました。