「統計学関連なんでもあり」の過去ログ--- 041

No.04955　差がないことを確認するための検定法　　【にわとり】　2007/12/07(Fri) 10:07

ある比較対象に差がないことを確認したい。
もし差がある可能性があるならばその可能性を検出したい。
そのような目的に対する適切な検定方法についてご教授いただければ幸いです。
（No.00330と関連する質問です。）

具体的な例題を挙げてみます。
例題）コンビニで売られているおにぎりの重さが店舗によって異ならないことを検証する。
ここでは調査店舗数3，調査おにぎり数3とした。
A店・・・55g，56g，55g，
B店・・・54g，55g，55g，
C店・・・52g，61g，54g，

この情報を基にf検定するとp＝0．905となり，例えばα＝0．05の条件では有意な差は認められません。従ってこの結果から「店舗間で95％以上の確率でおにぎりの重さに差がある，とは言えない」ことが分かります。言い換えれば「差がない確率が5％以上」ということであり，これでは差がない確率が10％なのか20％なのか80％あるのか判断できないため「差がない」と積極的に主張することは難しそうです。このケースでは，せいぜい「店舗間でおにぎりの重さには差がない可能性がある」程度の理解しか得られないことになります。
　さてここでα＝0．95という条件設定は許されるでしょうか。もし α＝0．95の設定が可能であれば，p＜αとなり，どこかの店舗間で有意な差があることが示唆され，例えばtukey検定によってB店とC店では有意に異なることが明らかとなります。この結果から「B店とC店のおにぎりの重さに差がある確率が5％以上ある」，「B店とC店ではおにぎりの重さに差がある可能性もある」（差がある確率がどの程度なのかはわからない）とかなり控えめに指摘できます。一方，A店とB店，A店とC店の間には有意な差は認められないことから「A店とB店，A店とC店のおにぎりの重さに差がある確率が5％以上ある，とは言えない」，読み替えれば「A店とB店，A店とC店のおにぎりの重さに差がない確率が95％以上である」ことから「A店とB店，A店とC店ではおにぎりの重さに差がある可能性はほとんど否定できる」と強く主張できるように思われます。

このように，α＝0．95あるいは0．99と設定すれば，検定結果の解釈として「差がないことを確認」するには都合がよいように思われますが，そもそもα＝0．95の設定が妥当といえるか判断できません。妥当でない場合その理由をご指摘いただければ幸いです。

はじめて投稿させていただきました。要点をうまくまとめられず長文になってしまいましたが，ご指導ご鞭撻いただけますよう重ねてお願い致します。

No.04956　Re: 差がないことを確認するための検定法　　【青木繁伸】　2007/12/07(Fri) 10:16

有意確率（P値）は，「帰無仮説が正しい場合に，観察されたこと以上に極端なことが起きる確率」です。
それと比較する有意水準αが5％であろうと95%であろうと，観察されたことについて計算される有意確率には何の影響もありません。もしP値が0.9で，α が0.95で，「有意水準95%のもとで，帰無仮説は棄却された」ということになっても，「帰無仮説は棄却されたけど，そんなP値が得られる確率は0.9 なんだ」という事実は同じ。

「同じである」ことを言いたいのなら，「同等性の検定」というのを検索してみてください。

なお，わかりやすくするためだとは思いますが，
> ここでは調査店舗数3，調査おにぎり数3とした
例数が少ないと，存在するかもしれない差を検出できませんよ。「検出力」というのを検索してみてください。

No.04970　Re: 差がないことを確認するための検定法　　【にわとり】　2007/12/08(Sat) 17:20

青木先生
早速のご返答ありがとうございます。

もう少しおつきあいいただけると大変ありがたく思います。
よろしくお願い致します。

＞　例数が少ないと，存在するかもしれない差を検出できませんよ。

1）正しい検定結果を得るためには例数が多い方が有利であることは直感的に理解できます。それぞれの検定に対して望ましい例数についてはこれから勉強したいと思っています。なお，先に挙げさせていただいた例題はあくまで説明のためのものです。

＞　「同じである」ことを言いたいのなら，「同等性の検定」

2）「同等性の検定」についてはこの掲示板の過去の過去ログを拝見させていただき，その分析方法の考え方についてはおぼろげながら見えてきてはいると思います（実際の分析方法については全くこれからという状態ですが）。つまり「4547．検定という方針は捨てて，差の信頼区間を求めるという方針に変更してはいかがですか？」「4556．同等性の検定には noninferiority と equivalence があります。」などですね。
　しかしここでまず引っかかるのは，「4556．同等性の検定で大切なのは，何を持って同等とするか，の定義を解析前に宣言すること」「00347．同じというためには，これ以上差があったら差があるとする値が必要になります。例えば新製品と旧製品で10を超えたら差ありとするということです。これで判定基準ができるので，後は90なり95％なりの信頼区間がこれ超えるかどうかを見ます。」などです。つまり「分析者が自らの知識・経験・センスを基に「基準」を決めなければならない。その基準と信頼区間を見合わせてある意味主観的に判定せよ」ということではないかと受け止めております。この「分析者が基準を決める」という部分に抵抗を感じるのです。何を根拠にしてこの基準を決めたらよいのか・・・。「同等性の検定」についてより深く勉強していけばこの「基準」の指針について容易に理解できるようになるのでしょうか。「同等性の検定」を初めてやってみようと思うような初心者にとっては「α＝0．01あるいは0．05」などの一般的な基準を指標として検定し，客観的な結論が得られるととても安心なのです。そのような観点から「4955」の質問をさせていただいた次第です。

ここから本題になりますが

＞　もしP値が0.9で，αが0.95で，「有意水準95%のもとで，帰無仮説は棄却された」ということになっても，「帰無仮説は棄却されたけど，そんなP値が得られる確率は0.9なんだ」という事実は同じ。

3）事実が変わらないことはよく理解できます。ただし「p＜α」によって一応帰無仮説は棄却されたという前提に立てれば，例えばTukey検定に進むことができるなどの利点があるように思えます。その結果「B店とC店ではおにぎりの重さに差がある可能性もあるがA店とB店，A店とC店ではおにぎりの重さに差がある可能性はほとんど否定できる」というそれらしい判定結果を導けるのではないかと期待しているのです。
　繰り返しになりますが「α＝0．95」という条件設定で事実が変わることはないが，結果を理解しやすくなる利点があると思われるのです。1％，5％，95％，99％という基準は誰にでも理解でき，2）で必要な主観的な基準よりもははるかに客観的であるように思われます。必ずしも統計学的に推奨されるものではないとしても，差し当たり「α＝0．95」の条件設定が明らかな誤りでないとすれば，この様な手法も否定はされないのではないかと期待しているのです。

再び長文になってしまいましたがご返答いただけることを心待ちにしております。よろしくお願い致します。

No.04974　Re: 差がないことを確認するための検定法　　【青木繁伸】　2007/12/08(Sat) 19:26

> 95％，99％という基準は誰にでも理解でき

理解できるけど，意味がないということではないですか？

No.04982　Re: 差がないことを確認するための検定法　　【青木繁伸】　2007/12/08(Sat) 22:18

> この「分析者が基準を決める」という部分に抵抗を感じるのです。何を根拠にしてこの基準を決めたらよいのか・・・。

その分野，扱っている問題によります。。。要するに固有科学の問題です。
自分で決められなくてどうします。
そして，その自分で決めた基準は，同じ分野，同じ問題を扱っている研究者から容認されなければなりません。
要するに，主観じゃだめです，客観性が要求されます。
他の分野にいるものや，統計学が答えられる質問じゃないのです。

No.04988　Re: 差がないことを確認するための検定法　　【にわとり】　2007/12/09(Sun) 05:28

私が無知なために無意味な質問をしてしまっているのかもしれません。
いつまでもつまらない質問にお付き合いさせてしまっては申し訳ありませんので
愚問だと判断されましたら無視していただいて結構です。

>> 95％，99％という基準は誰にでも理解でき
?> 理解できるけど，意味がないということではないですか？

α＝0．5には意味がないことは容易に理解できますが
α＝0．95に意味がないことがよく理解できません。
次のような理解のどこに問題があるのか分からないのです。

話しを単純化するためにt検定を例に取ると，

p値が0．01の時，ーー＞「差があるといえる」確率が99％（差がある可能性が高い）。
　　　　　　　　　　ーー＞「差があるとはいえない」確率が1％（差がある可能性が高い）。

p値が0．50の時，ーー＞「差があるといえる」確率が50％（差があるともないともいえない）。
　　　　　　　　　　ーー＞「差があるとはいえない」確率が50％（差がないともあるともいえない）。

p値が0．99の時，ーー＞「差があるといえる」確率が1％（差がない可能性が高い）。
　　　　　　　　　　ーー＞「差があるとはいえない」確率が99％（差がない可能性が高い）。

p値が1．00の時，ーー＞「差があるといえる」確率が0％（同一である）。
　　　　　　　　　　ーー＞「差があるとはいえない」確率が100％（同一である）。

つまり比較する2群の母平均の隔たりが大きいほどp値が小さくなり，隔たりが小さいほどp値が「1」に近づく，ということです。そしてこのp値と有意水準「α」を比較して有意差判定をするわけですから「差がない可能性が高い（同等性）」ことを評価したい場合には，α＝0．95などに設定することは意味があると思えてしまうのです。例えばα＝0．95でp＞αの時，「差があるとはいえない」確率が95％以上あると読めるわけです。差がない可能性が高いことを確認できるのに，なぜ「意味がない」となってしまうのでしょうか。どうしてもうまく理解できません。

No.04990　Re: 差がないことを確認するための検定法　　【青木繁伸】　2007/12/09(Sun) 12:51

> p値が0．01の時，ーー＞「差があるといえる」確率が99％（差がある可能性が高い）。
> 　　　　　　　　　　ーー＞「差があるとはいえない」確率が1％（差がある可能性が高い）。

平均値の差の検定で，帰無仮説として平均値の差δが0，簡単のため片側検定とする。
P値が0.01のとき，帰無仮説が正しいと仮定したとき，観察された以上のことが起こる確率が0.01%。よって，帰無仮説が正しい可能性は0.01ほど。では，0.99帰無仮説が正しいといえるかというと，そうではない。対立仮説が正しい可能性も考えないといけない。
しかし，対立仮説と言っても対立仮説は平均値の差δが0より大きいといっているだけ。どれだけ大きいと言っていない。普通は左の図のようなことをイメージしているのだが，右側の要にだってなるんですよ。右側のようになったら，確かに帰無仮説の方が優勢だけど，対立仮説が正しい確率だって，高いのです。中間段階は無数にある。
だからこそ，「同等性の検定」では差を明確に定義して，第二種の過誤（検出力）も定義して，データ数も限定して検定を行うのです。

図をクリックすると原寸大に拡大