「統計学関連なんでもあり」の過去ログ--- 044

No.15374　二群の差の検定　　【宮川】　2011/09/22(Thu) 18:47

よろしくお願いします。
「母集団からランダムサンプリングした標本の，ある項目の割合を調べる」という調査が正しく行われているかどうかを検証するために，2つのチームで同じ母集団からそれぞれに標本抽出して調査が行われ，その結果が出ました。
この場合2つの結果の差が有意であるかどうかを検定するには，二群の母比率の差の検定の検定で良いのでしょうか？

No.15388　Re: 二群の差の検定　　【たかゆえ】　2011/09/26(Mon) 08:37

サンプリングが全く別個に行われたならそれでいいと思います。
ただそれで有意差があっても「同じ母集団(当然2群の母比率は同じ)なのに差が出ちゃった，なんでだろう」ということしかわかりませんが。
それがサンプリングの不正確さで偏ったのか実験精度が悪かったのか，どっちのチームが悪かったのかなどは全く分かりません。

No.15389　Re: 二群の差の検定　　【TY】　2011/09/26(Mon) 11:00

サンプリングが正確であるならば，有意水準が5%とすると1/20の確率で有意な差が出ます。
有意水準が1%とすると1/100の確率で有意な差が出ます。

No.15390　Re: 二群の差の検定　　【宮川】　2011/09/26(Mon) 16:10

＞たかゆえさん
ありがとうございます。

＞TYさん
それは理解しています。
2つの標本は独立した二群ですが，同じ母集団からのランダムサンプリングでも「二群の母比率の差の検定」を使うのが適切かどうか不安があったので相談致しました。

No.15392　Re: 二群の差の検定　　【TY】　2011/09/27(Tue) 09:08

宮川様

有意差が偶然であることについては，たかゆえさんの
> ただそれで有意差があっても「同じ母集団(当然2群の母比率は同じ)なのに差が出ちゃった，なんでだろう」ということしかわかりませんが。
に対してのレスポンスです。
ただし，そもそも，同一の母集団であることが前提であるときに，検定に意味があるのか私にはわかりません。区間[0,1]の一様乱数を発生させるだけではないかと思います。

測定の目的がチームの能力を調べることであるなら，意味があるかもしれません。

No.15393　Re: 二群の差の検定　　【宮川】　2011/09/27(Tue) 11:04

＞測定の目的がチームの能力を調べることであるなら，意味があるかもしれません。

最初に書いた通りです

No.15394　Re: 二群の差の検定　　【TY】　2011/09/27(Tue) 12:13

では，

二群の母比率の差の検定を適用できるが，一方の群が正しい測定 (Gold standard) というわけではなくて，同一手法を繰り返したものの比較であるならば検定に意味はない，

測定された二つの割合から (重みつき) 平均を取って「ある項目の割合」を推定することには意味がある，

さらに多くの調査を行って，調査方法の精度を調べることには意味がある，

と思います。

No.15396　Re: 二群の差の検定　　【宮川】　2011/09/27(Tue) 15:06

＞同一手法を繰り返したものの比較であるならば検定に意味はない

手法（仕様）は同一でも，「実務としてその仕様に忠実に行えているか」どうかの問題なので意味がないことは無いと思うのですが。

もちろん有意差が出たからと言ってどちらのチームが精度が高いかの判断材料にはならない点は承知していますが。

No.15397　Re: 二群の差の検定　　【TY】　2011/09/27(Tue) 22:22

母比率が未知の場合，どちらか一方が「忠実に行えている」という保障がない限り，もう一つのチームがどの程度忠実であるかは判断できないはずです。また，調査の精度としてどの程度のずれがありうるかを知るには，多くの調査が必要と思います。それなしに，2チームの調査結果のずれの大きさは評価できないのではないかと思います。

もし評価できるとしたら，外部的な情報がなければなりません。たとえば実は母比率はあらかじめわかっていた，調査はすでに何度も行われておりその精度はわかっていた，など。

[追記]
読み損ねていましたが，チームの質の良し悪しではなくて，チームの質に違いがあるかについてを検討していたのでしたら，意味はあると思います。お騒がせしました。