「統計学関連なんでもあり」の過去ログ---030

★ 多項目を検定する場合の多重性ついて ★

4427.　多項目を検定する場合の多重性ついて　ゆう　　2004/09/28 (火) 01:20

　私は，統計学にはあまり詳しくない工学系の人間です．
　今回「多項目を検定する場合に生じる多重性」についてわからないことがあり，質問させて頂きます．

　調査の仮説は，「土水路はコンクリート水路よりも魚類の個体数が多い」と設定しました．つまり，魚種ごとに2水路間で個体数の多寡を比較しようと考えていました．
　調査の結果，メダカやナマズ，フナなど17種の魚類が確認されました．そこで，メダカやナマズなどの魚種別の個体数について2水路間でU検定を考えましたが，これでは検定を17回繰り返すこととなり，多項目を検定する場合に生じる多重性が問題になるのではと思いました．（参考文献：足立堅一（1998）らくらく生物統計学，115-137）
　そこで，質問なのですが，
1）この場合，検定を繰り返すと多重性が問題となるのか？
2）問題となる場合，Bonferroni correction以外の対処方法はあるか？
についてお伺いしたいと思います．

　自分でもいろいろ調べてみましたが，やはり調査前にこのようなことを想定してデータ収集をすることが一番の対策だということは痛切に思いました．しかし，苦労して取ったデータなのでどうにか活かしたいと思いますので，ご教授願います．よろしくお願いします．

　　　　　[このページのトップへ]

4432.　Re: 多項目を検定する場合の多重性ついて　田原　　2004/09/28 (火) 09:29

> 　調査の仮説は，「土水路はコンクリート水路よりも魚類の個体数が多い」と設定しました．つまり，魚種ごとに2水路間で個体数の多寡を比較しようと考えていました．

水路別で多様度指数を求めてみるのはいかがでしょうか？

ただし，この値を求めて比較することが検定になるかどうかは私にははっきり言えませんので，詳しい方がフォローしていただけると助かります。

多様度指数については，生態学の教科書等に載っていると思います。google でも何件が興味深いサイトが引っかかります。

　　　　　[このページのトップへ]

4435.　Re^2: 多項目を検定する場合の多重性ついて　ゆう　　2004/09/28 (火) 10:21

ご返答ありがとうございます．

> 水路別で多様度指数を求めてみるのはいかがでしょうか？

私もこれについては考えました．
もちろん，これで議論することは可能であるし，他の研究者も行っておりました．
しかし，今回の調査からは，魚種別に水路材料への対応を検討したいと思っています．
そのため多様度指数を用いた場合，すこしずれてしまうと思います．

ただ，多項目を検定する場合の多重性に関する論文をいくつか読みましたが，その中のいくつかには「変数をなんらかの合理的な方法でまとめること」も有効な手法のひとつとして挙げられていたため，今後考えてみたいと思います．

　　　　　[このページのトップへ]

4429.　Re: 多項目を検定する場合の多重性ついて　さら　　2004/09/28 (火) 03:36

> 　調査の結果，メダカやナマズ，フナなど17種の魚類が確認されました．そこで，メダカやナマズなどの魚種別の個体数について2水路間でU検定を考えましたが，これでは検定を17回繰り返すこととなり，多項目を検定する場合に生じる多重性が問題になるのではと思いました．

> 1）この場合，検定を繰り返すと多重性が問題となるのか？
> 2）問題となる場合，Bonferroni correction以外の対処方法はあるか？

解答というより新たな質問ですが・・・
ま，とりあえず，1）の答は『はい』ですね。
2）の前に・・・
この場合，検定の数（17）はデータ収集時にはわかっていないことであり，データによって導かれた物ですね。
ということで，検定の数も random variable 確率変数であると考えられます。それも考慮に入れなくてはいけないのではないでしょうか？どう考慮にいれるかは判りませんが・・・
仮に，もう一度同じ検定（実験）を繰り返す時に，もし10種類しか魚類が確認されなければ10個の検定しかしないことになり，同じBonferroni-correctioin でも何で割るかが変わってきます。それはおかしいのではないでしょうか？
データを集めた後に，有意が認められそうなものだけ検定をする，というのは最もしてはいけないことです。この場合も同じであると思われます。どちらの水路でも確認されなかった魚種は，有意差がないのですから。
やはり，何を検定するか（この場合どの魚種）はデータ収集の前に宣言するべきではないでしょうか？私ならこの場合，記述統計にとどめます。

　　　　　[このページのトップへ]

4434.　Re^2: 多項目を検定する場合の多重性ついて　ゆう　　2004/09/28 (火) 10:13

ご返答ありがとうございます．
> 2）の前に・・・
> この場合，検定の数（17）はデータ収集時にはわかっていないことであり，データによって導かれた物ですね。
> ということで，検定の数も random variable 確率変数であると考えられます。それも考慮に入れなくてはいけないのではないでしょうか？どう考慮にいれるかは判りませんが・・・
> 仮に，もう一度同じ検定（実験）を繰り返す時に，もし10種類しか魚類が確認されなければ10個の検定しかしないことになり，同じBonferroni-correctioin でも何で割るかが変わってきます。それはおかしいのではないでしょうか？

なるほど，そのようには考えていませんでした．
確かにご指摘のとおり，毎回同じ魚種が採捕されるとはかぎりません．

> データを集めた後に，有意が認められそうなものだけ検定をする，というのは最もしてはいけないことです。この場合も同じであると思われます。どちらの水路でも確認されなかった魚種は，有意差がないのですから。

魚類は，ある程度物理環境（水路材料，水深，流速など）に対応して出現/非出現すると考えられます．（その確率変数はまったくの未知ですが．）
地理的に水路があるような地域には出現しない魚類もいます．極端な例ですが，海産魚だったり．
このような場合においても，今回の調査で確認されなかった種に対しても，そのような考え方を適応すべきなのでしょうか．
うまく説明できませんが，すこし疑問に思います．

> やはり，何を検定するか（この場合どの魚種）はデータ収集の前に宣言するべきではないでしょうか？私ならこの場合，記述統計にとどめます。

記述統計量を述べるにとどめることが最も安全なのかもしれません．
ただ，すこし疑問に思ったことがあります．
「データ収集前に“どの魚種”について検定を行うのか決める」というのは，この類の調査では予備調査（文献調査も含めて）を行っていることがほとんどなので，結局有意差がでそうな魚種を選んでいることにならないのでしょうか？

　　　　　[このページのトップへ]

4445.　Re^3: 多項目を検定する場合の多重性ついて　太郎　　2004/09/29 (水) 13:06

> 「データ収集前に“どの魚種”について検定を行うのか決める」というのは，この類の調査では予備調査（文献調査も含めて）を行っていることがほとんどなので，結局有意差がでそうな魚種を選んでいることにならないのでしょうか？

有意差が出やすい魚種を選ぶということではなく，予備調査によってその水路に存在する魚種（あるいは優占種）を特定し，本調査で検討する魚種を特定する（本調査の実施前に）ということであれば良いのではないかと思います。
　また，検出力を高めたいのであれば，U検定のようなノンパラ検定ではなく，もしデータの条件が合うならばパラメトリックな検定（分散分析など）の方がよいでしょう。その場合，多重比較もPeriezやREGWQ（あるいはREGWF）などを使えば，Bonferrniで有意水準を調整したU検定よりは，検出力の高い検定が行えると思います。

　　　　　[このページのトップへ]

4448.　Re^4: 多項目を検定する場合の多重性ついて　青木繁伸　　2004/09/29 (水) 14:16

> 　また，検出力を高めたいのであれば，U検定のようなノンパラ検定ではなく，もしデータの条件が合うならばパラメトリックな検定（分散分析など）の方がよいでしょう。

重箱の隅をつつくようですが，ノンパラメトリックの名誉のためにも。
母集団が正規分布に従うとき，U 検定は，t 検定の約 95% の検出効力を持ちます。

　　　　　[このページのトップへ]

4450.　Re^5: 多項目を検定する場合の多重性ついて　太郎　　2004/09/29 (水) 16:52

> 重箱の隅をつつくようですが，ノンパラメトリックの名誉のためにも。
> 母集団が正規分布に従うとき，U 検定は，t 検定の約 95% の検出効力を持ちます。

おおせはごもっともですが（t検定とU検定だけに着目すれば），ボンフェローニで有意水準を調整したU検定の多重比較よりは，REGWQなどのパラメトリックな多重比較の方が検出力は高くなると思います。
　若干言い過ぎかもしれませんが，パラメトリック検定が優位な点は間違いではないと思います。

　　　　　[このページのトップへ]

4472.　Re^6: 多項目を検定する場合の多重性ついて　太郎　　2004/10/01 (金) 08:29

P．S．
　すみませんが，魚種別に2つの水路の差を検定するのには，REGWQなどは使えないことに気づきました。
　魚種別に2水路間の差を検定するには，やはりボンフェローニで行うのが適当なのかもしれません。
　ただし，予備調査でグルーピング可能ないくつかの魚種があれば，比較の数が少なくなるのでそれだけ検出力の高い比較が行えると思いますが，その分野の先行研究で検討してみる必要があるでしょう。

　　　　　[このページのトップへ]

4438.　Re^3: 多項目を検定する場合の多重性ついて　さら　　2004/09/28 (火) 22:23

> > やはり，何を検定するか（この場合どの魚種）はデータ収集の前に宣言するべきではないでしょうか？私ならこの場合，記述統計にとどめます。
>
> 記述統計量を述べるにとどめることが最も安全なのかもしれません．
> ただ，すこし疑問に思ったことがあります．
> 「データ収集前に“どの魚種”について検定を行うのか決める」というのは，この類の調査では予備調査（文献調査も含めて）を行っていることがほとんどなので，結局有意差がでそうな魚種を選んでいることにならないのでしょうか？

データをとる前に『有意差がでそうな魚種』を選ぶのは全く問題ありません。ただ，その選択がデータを見た後になされるではいけません。
その選択が予備調査のデータによるものであれば，本調査の時にその予備調査のデータは使えません。【例えばメタアナリシスでも，2つ目の研究のデザインが1つめの研究の結果に基づいている場合は統合してはいけません】
問題点を指摘するだけではいけませんので，もしかして，使えるかもという手法を挙げます。
1．Bayesian analysis はどうでしょう？
2．stepwise testing は使えますか？
stepwise testing でもやっぱり，データ収集の前に仮説を宣言するのが必要かもしれませんが，調べてみる価値はあると思います。

　　　　　[このページのトップへ]

4442.　Re^4: 多項目を検定する場合の多重性ついて　さら　　2004/09/29 (水) 02:33

と書きましたが・・・
ま，あまり堅いことを言わずにシンプルに
Tukey, Bonferroni, Schaffe あたりを試してみたらどうでしょうか？

　　　　　[このページのトップへ]

4451.　Re^5: 多項目を検定する場合の多重性ついて　ゆう　　2004/09/29 (水) 20:01

さらさん，太郎さん

> 「データ収集前に“どの魚種”について検定を行うのか決める」というのは，この類の調査では予備調査（文献調査も含めて）を行っていることがほとんどなので，結局有意差がでそうな魚種を選んでいることにならないのでしょうか？

　データ収集前であれば，予備調査によってあくまで“検討する対象魚種を選定すること”は，“有意差がでそうな魚種を選択的に取り上げてること”にはならないということは理解できました．
　

>　データをとる前に『有意差がでそうな魚種』を選ぶのは全く問題ありません。ただ，その選択がデータを見た後になされるではいけません。
>　その選択が予備調査のデータによるものであれば，本調査の時にその予備調査のデータは使えません。【例えばメタアナリシスでも，2つ目の研究のデザインが1つめの研究の結果に基づいている場合は統合してはいけません】

　予備調査の結果を利用してはならない，とは具体的にどういったことなのでしょうか．
　予備調査の結果を利用するからこそ，“検討する対象魚種を選定すること”ができるのではないのでしょうか．こちらの考え方がズレているのかもしれませんが，教えてください．

　　　　　[このページのトップへ]

4453.　Re^6: 多項目を検定する場合の多重性ついて　さら　　2004/09/29 (水) 22:54

> 　予備調査の結果を利用してはならない，とは具体的にどういったことなのでしょうか．
> 　予備調査の結果を利用するからこそ，“検討する対象魚種を選定すること”ができるのではないのでしょうか．こちらの考え方がズレているのかもしれませんが，教えてください．

予備調査の結果を利用してはいけない，ではなくてデータを混ぜて解析してはいけない，というだけです。予備調査の結果を本調査のデザイン（対象魚種を選定するなど）に使用するのは全く構いませんが，例えば，予備調査のサンプル20と本調査のサンプル200を混ぜて220のデータを解析してはいけません。それだけです。

やや話がそれますが・・・

データを混ぜてもよいのは，完全に独立したデータのみです。ただデータ自体が独立していても本調査のデザインに予備調査の結果を使ったのであれば，研究自体が独立していないので，データをまとめて解析することはできません。

メタアナリシスでは，この点はほぼ常に無視されていますがかなり重要な問題点だと思います。

　　　　　[このページのトップへ]

4455.　Re^7: 多項目を検定する場合の多重性ついて　ゆう　　2004/09/30 (木) 01:31

> 予備調査の結果を利用してはいけない，ではなくてデータを混ぜて解析してはいけない，というだけです。予備調査の結果を本調査のデザイン（対象魚種を選定するなど）に使用するのは全く構いませんが，例えば，予備調査のサンプル20と本調査のサンプル200を混ぜて220のデータを解析してはいけません。それだけです。

　わかりました．理解できました，ありがとうございます．

　本題なのですが，ご指摘いただいた2点について．
1．Bayesian analysis
2．stepwise testing

1については，名前は聞いたことがありますが全くの勉強不足でコメントすることができません．
すいません．
2については，太郎さん（4445）からご指摘頂いたREGWQ，REGWFのことと思いましたが，この手法であると理解したらよいのでしょうか？今回の多項目を検定する場合に適応できるのかすこし疑問に思ったので．

　　　　　[このページのトップへ]