「統計学関連なんでもあり」の過去ログ--- 044

No.14481　複数の主要評価項目の多重補正　　【すもも】　2011/03/30(Wed) 05:52

介入研究で主要評価項目が複数ある場合の扱いについて質問させてください。

親子ペアに対しある生活介入プログラムを実施して，親への効果，子どもの心理面への効果，子どもの認知面への効果を，いくつかの検査を使って調べるとします。
この場合，主要評価項目を3つとしてそれぞれに該当する検査指標1つずつを選び，結果をまとめたいのですが，「主要評価項目は1つにすべき」「主要評価項目が1つでなければ結果を多重補正すべき」と書かれたものを読みました。

多重補正をしないで主要評価項目を3つ設定し，それぞれp<0.05を閾値として評価することは不適切でしょうか。
たとえば「親への効果」を見るために主要評価項目に検査指標を2つ用いた場合は多重補正すべきというのは納得できます。しかし，独立した3つの要素に対する効果を見る場合，その3つの検査指標を多重補正しなければいけないものでしょうか。

すみませんがお教えください。
どうぞよろしくお願い致します。

No.14482　Re: 複数の主要評価項目の多重補正　　【青木繁伸】　2011/03/30(Wed) 08:26

> ...と書かれたものを読みました。

その出典は？

多重比較が幅をきかせすぎている感じがしますね。
多重比較の本来の意味を考える必要があるのではないでしょうか？

効果評価のような場合，「複数の評価項目があるのならそれらをまとめた総合指標を構成してやれば，1項目になるので何の問題もなくなるじゃないか」ということになるのでは？
また，一つ一つの評価項目について検定を繰り返すなどということではなく，多変量解析を適用するというのも有効な方法ではないですか。
検定，検定というから多重比較が必要かどうかに悩まなければならないのではないですか。また，全ての検定結果をまとめて「あれも有意，これも有意，...だから，効果があった」という述べ方をするから多重比較が必要ということになるわけですから，「多重比較という点では問題があるが，個々の評価項目について検定した」ということなら，問題ないでしょう。
また，他のスレッドでも述べましたが（それはちょっと空振りぎみでしたが），関連はするが同じものではない評価項目の結果をまとめるには，，メタアナリシスをすればよいということもあるでしょう。

No.14483　Re: 複数の主要評価項目の多重補正　　【すもも】　2011/03/30(Wed) 19:36

青木先生，御回答いただきどうもありがとうございました。

出典をつけず，すみませんでした。
以下，主要評価項目が複数ある場合は補正すべきと説明してあるWebサイトです。
http://medicineblog.blog32.fc2.com/blog-entry-78.html
http://www.kutrc.org/protocol/img/KansatsukenkyuSum080901v1.pdf

一方で，先行研究を調べていたところ，主要評価項目を複数設定して補正せず解析している下記URLのような論文もあり，
http://pediatrics.aappublications.org/cgi/content/abstract/118/1/e9
どのようにすべきか迷っていたところでした。

自分の研究のストーリーとしては複数設定したいため，青木先生からいただきましたコメントにならって，全ての検定結果をまとめて「あれも有意，これも有意，...だから，効果があった」という述べ方をせず，「多重比較という点では問題があるが，個々の評価項目について検定した」と考察で述べたいと思います。

とても助かりました。
どうもありがとうございました。

No.14485　Re: 複数の主要評価項目の多重補正　　【青木繁伸】　2011/03/30(Wed) 22:29

最初から，該当する部分を明示して頂ければ議論も進んだのではないかと思いますけど。
該当の記述は以下のものですね。

> 6. 評価項目
本章では，評価項目について研究仮説(リサーチクエスチョン)との関連を明確にして記述する。
評価項目のうち，研究の主たる目的を達するために最も適切なものを主要評価項目とし，それ以外を副次評価項目とする。
主要評価項目は1つが望ましい。複数の主要評価項目を設定して検定を行う場合は，検定の多重性の問題への対処方法を考慮する。
副次評価項目は必須ではない。必要とする場合は複数でもよいが，それぞれが「4. 観察・検査項目と方法」で記載する項目と矛盾せず，かつこれら項目によって評価可能なものに限定して記載する。
一般的でない評価項目の場合，または一般的であっても複雑な定義を要する場合には，その方法の詳細と設定根拠を明記する。

と，あるだけで，別に多重比較につて強制的な記述をしているわけではなく，当たり前のことを書いているだけでしょう。また，個人的な見解を述べれば，ある一組織の策定したガイドラインに過ぎないのでは？という感想を禁じ得ませんが。

特定の状況（例えば，新薬の申請とか，広く自然科学）を想定したものではないでしょうか？
社会科学などにおいては，そのような制約を課すことは現実的ではないでしょう。
貴方の例のように，「生活介入プログラムを実施して，親への効果，子どもの心理面への効果，子どもの認知面への効果を，いくつかの検査を使って調べる」のような場合とは自ずと状況は違うでしょう。前者の場合には間違いは許されないが，後者は可能性の提示ということもあるわけで。後者の場合には，提示された（提示される）仮説の無謬性を要求されるようなものではないでしょう。社会科学は，そんな厳密性を求めているとは思えません（自然科学だって，いつもいつもどのような場合であっても，そのような厳密性を求めているとは思えませんけどね。そうでなければ，大部分の研究者は職を失う（失っている）でしょう (^_^;)
統計学を正しく（適正に）利用する必要があると思いますけど，どうでしょうか。

No.14486　Re: 複数の主要評価項目の多重補正　　【すもも】　2011/03/31(Thu) 03:21

青木先生，さらにお返事をいただきどうもありがとうございます。
該当する文献を最初に明示せず，要領を得ない質問ですみませんでした。
おっしゃる通り，添付しました上から2つ目のURLの文章では，多重比較について強制的な記述をしているわけではないですね。
「社会科学などにおいては，そのような制約を課すことは現実的ではないでしょう。」といういただいたコメントにとてもほっとしました。
厳密性を追求しすぎることが逆に「統計学を正しく（適正に）利用」していないことになりうることを知らされました。
とても勉強になりました。
どうもありがとうございました。

No.14487　Re: 複数の主要評価項目の多重補正　　【kai】　2011/04/01(Fri) 07:58

議論になっている点については，講談社の「治験の統計解析　理論とSASによる実践」の第2章：多重比較と複数エンドポイント，にかなり詳細に記述されています．ご参考までに

No.14492　Re: 複数の主要評価項目の多重補正　　【すもも】　2011/04/01(Fri) 19:55

kaiさん，どうもありがとうございます。
「治験の統計解析　理論とSASによる実践」の第2章を是非読ませていただき，参考にしたいと思います。