No.09980 3群以上の比較にt検定を使ってはいけない理由は?  【統計学初心者】 2009/06/02(Tue) 20:24

タイトルに書いた「3群以上の比較にt検定を使ってはいけない理由」というのが,腑に落ちなくて困っております。

webや本を調べることによって,以下の解釈をよく目にしました。
A, B, Cの3つの標本があるとき,AとB,BとC,AとCの,3つにおいてt検定を行った場合,「少なくとも1つの組み合わせに,差がでる確率」は,1から「3つの組み合わせすべてに差がでない確率」をひいたものになる。

例えば,差が出る確立を5%とした場合
1-(1-0.05)x(1-0.05)x(1-0.05)
=0.143

このことから,「少なくとも1つの組み合わせに,差がでる確率」14.3%となり,2者比較の時の確立5%に比べて,差が出る確立が高くなる。

この解釈を読んで,なんとなくわかったような気になるのですが腑に落ちません。
t検定によって,2群間の優位差が示せるのであれば,3群の比較においても,それぞれの組み合わせにおけるt検定の結果は,少なくともその組み合わせ(2群間)の優位差については十分に示せていると感じてしまいます。

結局のところ,何故3群以上の比較にt検定を使ってはいけないのかがわかりません。
御教授よろしくお願いします。

No.09981 Re: 3群以上の比較にt検定を使ってはいけない理由は?  【青木繁伸】 2009/06/02(Tue) 22:33

どこがよくわからないのかよくわからないのですが,以下のような表を作ると助けになりますか?


No.09985 Re: 3群以上の比較にt検定を使ってはいけない理由は?  【波音】 2009/06/03(Wed) 09:46

もっとイメージ的な説明をすると: 

ある横断歩道を赤信号のときに渡ると5%の確率で事故にあうとします。

そ の横断歩道を信号が赤のときに1回だけ渡るのであれば,事故にあう確率はたしかに5%でしょう(これが1回だけt検定を行ったということにあたる)。しか し,たとえ5%の確率でしか事故にあわないとしても,2回,3回と何回も繰り返し赤信号で渡れば,事故にあう確率は間違いなく5%よりも高くなるでしょう (これが2回以上繰り返しt検定を行うという行為にあたる)。

−−−

1回の検定を「弾丸が1発だけ装着されているリボルバーを頭に当てて引き金を引く」ことに例えれば,

1回目: 発弾する確率1/5
2回目: 発弾する確率1/5
3回目: 発弾する確率1/5
(3回行うなら,1発しか装着されていないリボルバーを3つ用意するということ)

といったように,繰り返しロシアンルーレットに挑戦するのは危険だということが分かるでしょう(発弾する確率は明らかに1/5より大きいはずです)? 理屈としては同じことです。

No.09989 Re: 3群以上の比較にt検定を使ってはいけない理由は?  【統計学初心者】 2009/06/03(Wed) 17:32

>青木先生
ありがとうございます。
この表を見ていて,一番右の赤字の確率が何を意味するのかがわからないです。
もちろん3つのことが共に起こる確率であるというのはわかります。
その3つのことが共に起こるという状態は検定において,どういった意義を持つのかがわからないです。

t検定における帰無仮説を「A群の平均値とB群の平均値に差は無い」とする。
帰無仮説が正しいのに帰無仮説を棄却してしまう確率が5%。
つまり5%の確率で,本当は差がないにも関わらず,差があるという検定結果になる。
95%の確率で優位差はあると信じても良いだろう。
この概念から考えると,一番右の赤字の確率はどういった意味づけが出来るのでしょうか?

あと,僕がわからないと書いた点について補足します。
例えば,薬の投与量に対するあるホルモン濃度の変化に関するデータがあったとき,
投与量を3段階+無投与の4つの群の変化量を比較するとします。
この際に,薬の投与の影響を知りたければ,無投与の群と投与量の違う3つの群とをそれぞれt検定で比較すれば良いように思うのです。
それぞれのt検定の結果は,無投与との比較という点においては有効であると思うのですが,それは間違っているのでしょうか?

No.09990 Re: 3群以上の比較にt検定を使ってはいけない理由は?  【統計学初心者】 2009/06/03(Wed) 17:41

>波音さま
そのイメージはものすごく理解できます。
また同時に,ギャンブルを考えた際にいつも混乱する点です。

単純にコインの裏表を出すゲームである時。
3回連続で表が出る確率は(1/2)x(1/2)x(1/2)=1/8ですよね?
しかし,すでに2回連続で表を出していて,3回目に表を出す確率は1/2ですよね?

でも,この場合,もう2回連続表を出しているのだから,次も表が出ることってかなり確率が低いのでは無いかとイメージ的にはよぎってしまうのです。
このイメージと実際の理論とのズレに泥沼に陥ってしまいます。

No.09991 Re: 3群以上の比較にt検定を使ってはいけない理由は?  【青木繁伸】 2009/06/03(Wed) 18:21

> その3つのことが共に起こるという状態は検定において,どういった意義を持つのかがわからないです。

そうですね,言葉が足りない上に,不適切でした。No. 9981 は,なかったことにしてください。

No.09992 Re: 3群以上の比較にt検定を使ってはいけない理由は?  【波音】 2009/06/03(Wed) 21:22

> このイメージと実際の理論とのズレに泥沼に陥ってしまいます。

質問の答えにはなってい ませんが,統計学は確率論が基礎となっているわけですから,数学的な理論を理解することは重要です。その半面で応用的な学問でもありますから,なかなか理 解できない理論についていつまでも考えていては"データ解析に使う"という面では遅れをとってしまいます。

しばらく考えても,ある理論が 理解できない場合は,とりあえずその問題を保留しておくのも良いかと思います。別の分析法を勉強したり,いろんなデータを解析する経験をすることで,かつ て理解できなかったものが「あっ,こんな簡単なことだったの。」と分かることも多いからです。

(比喩的な表現ばかりですが)泥沼にはまったまま,いかに動いていても余計に泥だらけになるだけです。そういうときは,一旦,泥沼からはい上がって汚れた服をキレイにすることです。

No.09998 Re: 3群以上の比較にt検定を使ってはいけない理由は?  【sb】 2009/06/04(Thu) 14:02

> この際に,薬の投与の影響を知りたければ,無投与の群と投与量の違う3つの群とをそれぞれt検定で比較すれば良いように思うのです。
それぞれのt検定の結果は,無投与との比較という点においては有効であると思うのですが,それは間違っているのでしょうか?

一概に間違いとは言えないでしょうが,その解釈には注意を要すると思います。

尺度 仮説の数
--------------
名義 3
順序 1
--------------

3群が名義尺度の場合,仮説は実質3個と考えるべきではないでしょうか。5%で統計学的有意と云うのは,あくまで仮説が1個の場合であり,仮説を3個も掲げて検証するのであれば,当然,確率論的ペナルティが必要と思います。従って,5%ではダメ。

順序尺度の場合,順序を考慮に入れると仮説は,1個と見做せると思います。従って,5%でOK。

以上,個人的見解であり,真偽は定かでありません。

No.09999 Re: 3群以上の比較にt検定を使ってはいけない理由は?  【統計学初心者】 2009/06/04(Thu) 16:42

>波音さま
確かにデータ解析に使う上では,かなりの遅れとなってしまいますね。
人を説得するための検定方法にもかかわらず,自分を説得できないというのがもどかしく感じます。
ただ仰る通り,泥沼にいつまでもはまっていても先には進めないので,一度脇に置いて先延ばしにすることにします。
有り難うございました。

>sbさま
つまり多群の場合,仮説が乱立することになる。
その結果,確率論的ペナルティが必要になる。

尺度の解釈がきちんと理解できないのですが,
名義尺度の場合,仮説3つのt検定
順序尺度の場合,仮説1つの分散分析
ということになるのでしょうか。

No.10000 Re: 3群以上の比較にt検定を使ってはいけない理由は?  【sb】 2009/06/04(Thu) 17:39

> 尺度の解釈がきちんと理解できないのですが,
> 名義尺度の場合,仮説3つのt検定
> 順序尺度の場合,仮説1つの分散分析

3群が名義尺度(例えば,薬剤A,B,C)の場合,A vs. B, B vs. C, C vs. Aは,3つの独立した?仮説と考えることが出来ます。従って,t検定に限らず,検定を行なう場合は,多重比較を行なうべきと考えます。

3 群が順序尺度(例えば,投与量が,少,中,多の場合),検定を行なう際に,その順序も考慮に入れて解釈するとします。例えば,投与量(少,中,多)に対し て,反応が(小,中,大)となり,かつ,統計学的にも有意である場合のみ,有意と解釈するとします。この場合は,仮説は1つと考えて多重比較を行なう必要 はないと思っています。

ただし,繰り返しますが,個人的見解であり,成書,論文等で根拠を示すことは出来ません。

No.10002 Re: 3群以上の比較にt検定を使ってはいけない理由は?  【統計学初心者】 2009/06/05(Fri) 18:17

>sbさま
わかりやすく説明して下さりありがとうございます。
自分なりに,泥沼にはまりすぎないよう,ほどほどに自学を続けてみようと思います。

皆様,ありがとうございました。

● 「統計学関連なんでもあり」の過去ログ--- 042 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る