「統計学関連なんでもあり」の過去ログ--- 044

No.14438　検定の繰り返し？　　【ttz】　2011/03/09(Wed) 01:47

ある薬の治療効果を調べるため，プラセボと比較する3種類の実験（A，B，C）を行いました（各実験で被験者が異なります）。
実験A：ある計量値の比較，t検定
実験B：治癒効果の有無の比較，χ2乗検定
実験C：Aの再現性の確認，t検定

いずれもp値が0.04でしたが，この場合，有意水準を調整する必要があるのでしょうか？
例えばボンフェローニの方法で0.05/3とすると，いずれも有意差なしとなり，治療効果なしとなります。有意差ありの結果がたくさん得られているのに，釈然としません。

「本当は治療効果がないにもかかわらず，誤って3種類の実験全てで有意と判定する確率は 0.05^3 = 0.000125　であるから，治療効果ありと判定する」のは間違っていますか？

No.14439　Re: 検定の繰り返し？　　【ひの】　2011/03/09(Wed) 08:34

実験内容も被験者も異なるのなら独立の実験と考えて良いでしょう。検定の多重性の問題はないと思います。

No.14440　Re: 検定の繰り返し？　　【青木繁伸】　2011/03/09(Wed) 09:13

> 本当は治療効果がないにもかかわらず，誤って3種類の実験全てで有意と判定する確率は

「全て間違っている」ではなく，「どれか一つでも間違っている」ことが問題なので，多重比較では 1- (1-0.05)^3 = 0.142625 ≒ 0.05*3 = 0.15 とするんですから。

今の場合は，複数の検定結果の統合というメタアナリシスの考え方を使うべきではないでしょうか。http://aoki2.si.gunma-u.ac.jp/lecture/meta-analysis/index.html

No.14447　Re: 検定の繰り返し？　　【ttz】　2011/03/09(Wed) 20:49

ひの先生，青木先生，ご回答ありがとうございます。

メタアナリシスの考え方，拝見しました。
私は真のp値と有意水準を混同していたようです。
真のp値はわからないのだから，各実験のp値をz値に変換して検定，ということですね。
先の例では p_overall = 0.001214 となり，治療効果ありと判定できました。

No.14448　Re: 検定の繰り返し？　　【青木繁伸】　2011/03/09(Wed) 21:29

> いずれもp値が0.04でしたが

まあ，それはたまたまだったのでしょうが，一番単純なメタアナリシスは，それぞれの P 値を単純平均すること。さらには，P 値の，サンプルサイズの重み付き平均値を使うこと，さらには，もっと洗練された方法を使うことということになるでしょう。

No.14455　Re: 検定の繰り返し？　　【製薬関係】　2011/03/14(Mon) 04:25

どういう目的の試験及び統計解析かわかりかねますが，製薬業界で新薬承認目的であれば，試験実施前に統計解析方法を含めて試験デザインを決めます。
そうでなければ，試験後に幾らでも有意差を見い出す（見出さない）ために，統計解析を選んだりと結果そのものに疑念が持たれます。

No.14457　Re: 検定の繰り返し？　　【ttz】　2011/03/14(Mon) 23:55

製薬関係さま，ご指導，ありがとうございます。

「統計解析方法（および解釈）」が適切であれば，おっしゃるとおりと思います。
ちなみに，先の例の場合，個々の実験において，有意水準，効果ありと判定する差，被験者数は，事前に決定しています。

No.14460　Re: 検定の繰り返し？　　【製薬関係】　2011/03/18(Fri) 17:30

詳細もわからぬままの回答で頓珍漢なことを申していたら申し訳ありません。
事前に有意水準や効果の判定基準，被験者数を決めて試験をされていれば問題ないと思います。
ただ，試験を通して有効性を判定する必要があるかどうかが問題ではないでしょうか？
例えば，抗がん剤であれば腫瘍サイズの縮小も薬効評価の一つですが，抗がん剤として承認されるには5年生存率などで有意な向上が認められたかどうかが重要になります。
ttzさんが検討されている薬がどのようなものかわかりませんが，その薬に必要とされる効果・効能が何であるかが大事かと思います。
それによって，試験A，試験Bのどちらの成績に意味があるかが議論できるのではないかと思います。
（試験Cは試験Aの追試という感じなので，あえて無視していますことを御了承下さい）

No.14461　Re: 検定の繰り返し？　　【ttz】　2011/03/22(Tue) 23:34

製薬関係さま，ご指導，心より感謝いたします。また，詳細を説明せず，申し訳ありません。

効果・効能としては，実験Bの成績の方が重要です。
もともと，薬の予想される作用機序から，実験Aで効果が認められれば，実験Bでも効果が期待できる，と考えていました。また，実験Aは，Bよりも少ない被験者数で実施可能なため，Bの前の”さぐりの実験”の意味もありました。
このように整理すると，実験A（およびC）の目的は，作用機序の確認であって，治療効果の確認ではないですね。つまり，私の最初の質問に戻りますと，「多重性の問題はなく，単純に実験Bの結果を採用すればよい」というのが答えですね。大変勉強になりました。