「統計学関連なんでもあり」の過去ログ--- 043

No.12184　主効果有意で多重比較で有意差なし？　　【悩める子羊】　2010/02/27(Sat) 00:16

分散分析をしています。
主効果が有意でした。
3水準だったので，多重比較をしました。
どの群間にも有意差が出ませんでした。
これはどう考えればいいのでしょうか？

No.12185　Re: 主効果有意で多重比較で有意差なし？　　【青木繁伸】　2010/02/27(Sat) 07:55

FAQ ですね。

「よくあること」とまでは言いませんが，あり得ることで，不思議がる必要はありません。結果の通り解釈すれば良いだけのことです。

No.12186　Re: 主効果有意で多重比較で有意差なし？　　【悩める子羊】　2010/02/27(Sat) 09:47

青木先生，お忙しい中，お返事下さりありがとうございます。

主効果が有意で多重比較の結果どの群間にも有意差が出なかったということは，効果は認められたが，それは群間に差が認められるほど大きなものではなかったと考えればよいのでしょうか。

No.12187　Re: 主効果有意で多重比較で有意差なし？　　【surg】　2010/02/27(Sat) 12:13

「統計学的に有意である」とは，「帰無仮説が正しくない可能性が高そうだ」ということで，「統計学的に有意でない」とは，「帰無仮説が正しくないかどうかわからない」ということです。それ以上の意味は全くありません。

No.12188　Re: 主効果有意で多重比較で有意差なし？　　【青木繁伸】　2010/02/27(Sat) 19:56

言葉尻をとらえるつもりはないし，難しいところもあるのですが，

> 「統計学的に有意でない」とは，「帰無仮説が正しくないかどうかわからない」ということ

「統計学的に有意でない」とは，「帰無仮説を棄却できない」，たとえば，「平均値に差がないという帰無仮説を棄却できない　＝　平均値に差があるとはいえない」ということでしょう。

No.12189　Re: 主効果有意で多重比較で有意差なし？　　【surg】　2010/02/27(Sat) 20:36

「棄却できない」を平易に表現すると「正しくないかどうかわからない」となると考えたのですが，青木先生は違うと考えるのですね？

そもそも「棄却」などというわかりにくい表現をしているために，検定が必要以上に「すごいこと」のようにとらえられてしまっているのではないかと以前から感じておりました。個人的には，(特に統計の専門家以外に対しては) もっと平易に表現すべきだと考えております。

>「平均値に差がないという帰無仮説を棄却できない　＝　平均値に差があるとはいえない」

その表現は良く眼にするのですが，私見ですが多くの人は「じゃあ差がないといって良いんだ」と思ってしまうようです。むしろ「差があるかどうかわからない」とでも表現した方がわかりやすいのではないかと，個人的には考えております。

No.12190　Re: 主効果有意で多重比較で有意差なし？　　【青木繁伸】　2010/02/27(Sat) 20:52

> 「正しくないかどうかわからない」

と,どこが違うかと言われると困りますが，「正しくないとはいえない」というのが教科書的な答えではないでしょうか（つまり，二重否定）。
「正しくないと積極的に否定できる根拠はない」つまり，「帰無仮説が正しいとした場合，観察されたようなことが生じることはそんなにまれではない（5％より小さいということはない，5％位はある）」ということでしょう。
「わからない」わけではなく，「正しくないと積極的に否定できる根拠はないということはわかっている」ということかな。

> 多くの人は「じゃあ差がないといって良いんだ」と思ってしまうようです。

それはそうかもしれません。誤解を生じないように説明する，また，誤解のないように正しく理解することはなにごとにおいても必要です。

> むしろ「差があるかどうかわからない」とでも表現した方がわかりやすい

ただでさえ（？），「統計学ってうさんくさい」と思われている(？)状況で，こんな風な表現をすると一般的には，統計学のいうことは信じられないと思われてしまうのではないでしょうか？検定の正しい意味を啓蒙するのが（偉そうですが）先決でしょう。

専門用語は，正しい文脈で正しい内容を伝えるためのものであって，それが一般の人に正しく伝わるかどうかについては必ずしも十分な考慮を払っているとはいえないでしょう。だからといって，それを日常用語で置き換えるとかえって曖昧さを含んでしまうのではないでしょうか。例えば「【帰無仮説を採択する】という用語法はおかしい【帰無仮説は棄却されるべきもので，採択されるものではない】」という主張も，正しいと思いますけど，従来の統計学の用語法からするとそこまで言う必要はないと思います（英語にあるなら正しいと言うことは言うつもりもありませんけど，acccept null hypothesis という言い回しは英語にもあります。Accepting the null hypothesis does not mean that it is true. ということです。消極的な採択ですね。）。

今の用語法では，reject/accept は却下/容認とでも訳す方が良いかもしれませんね。少なくとも，accept は，採択というよりは容認という方が近いようにも思います。

No.12191　Re: 主効果有意で多重比較で有意差なし？　　【悩める子羊】　2010/02/27(Sat) 21:47

お二人の先生方，コメントをありがとうございます。
初心者にわかるよう，工夫して下さり，大変勉強になります。

横から入ってすみません。
自分の疑問は，主効果と多重比較の有意性が一致していないことに関してでした。
先生方のコメントを読んでいるうちに，主効果の分散分析と多重比較は別のことをしているのであって，有意性が一致しないからといって別に問題はないということなのかと考えました。
そういう理解でよろしいのでしょうか。

No.12192　Re: 主効果有意で多重比較で有意差なし？　　【青木繁伸】　2010/02/28(Sun) 01:55

> 主効果の分散分析と多重比較は別のことをしているのであって，有意性が一致しないからといって別に問題はないということなのかと考えました。そういう理解でよろしいのでしょうか。

そういうことです。以下のような例は幾つでも作れます。
x1: 44.4, 47.7, 65.6, 50.7, 51.3  mean = 51.94, sd = 8.114370
x2: 73.8, 61.2, 43.9, 49.7, 52.1  mean = 56.14, sd = 11.673603
x3: 75.4, 66.8, 67.2, 64.3, 57.6  mean = 66.26, sd = 6.394373

一元配置分散分析（等分散性を仮定しない Welch の方法）
F = 4.7225, df1 = 2, df2 = 7.62, p-value = 0.04634

Holm の方法による多重比較（プールした標準偏差を使う t 検定）
調整した P 値（どれも有意でない）
x1:x2 の比較 0.475
x1:x3 の比較 0.081
x2:x3 の比較 0.201

No.12193　Re: 主効果有意で多重比較で有意差なし？　　【surg】　2010/02/28(Sun) 09:02

> ただでさえ（？），「統計学ってうさんくさい」と思われている(？)状況で，こんな風な表現をすると一般的には，統計学のいうことは信じられないと思われてしまうのではないでしょうか？検定の正しい意味を啓蒙するのが（偉そうですが）先決でしょう。

同意できません。統計学がうさんくさいと思われているかどうかはわかりませんが，もしそうであれば原因はむしろ「わかりにくさ」にあると考えます。わかりにくいから誤用され，誤用が多いからうさんくさくなる。「帰無仮説を採択」などという表現は，まさに「うさんくさい」表現です。検定という枠組みにおいては，帰無仮説を棄却できなければ帰無仮説が正しいのかどうかに関しては何もいえません。「正しくないとはいえない」も，非専門家においてはわかりにくい表現です。だから誤用される。これを「わからない」とか「何もいえない」と表現するだけで，日常茶飯事化している検定に関する誤用が激減するとは思いませんか？　そしてそれこそが「検定の正しい意味を啓蒙する」ということになるとは思いませんか？

No.12201　Re: 主効果有意で多重比較で有意差なし？　　【太郎】　2010/03/01(Mon) 11:27

　これまでの議論と全く無関係で恐縮ですが，3群で分散分析が有意であればLSD法で処理平均の比較は可能です。どの手法で多重比較を行ったのかわかりませんが，特に大きな理由がなければこの方法が最も検出力が高いと思われるので，試してもいいと思います。
　詳しくは本ページでよく引用される「統計的多重比較法の基礎（吉田・永田：サイエンティスト社）」参照。

No.12202　Re: 主効果有意で多重比較で有意差なし？　　【悩める子羊】　2010/03/01(Mon) 17:14

皆様，親切にご教示下さり，ありがとうございました。
「統計的多重比較法の基礎（吉田・永田：サイエンティスト社）」を入手して勉強したいと思います。
どうもありがとうございました。