「統計学関連なんでもあり」の過去ログ--- 044

No.13581　サンプルサイズと有意差について　　【なおくん】　2010/10/09(Sat) 21:26

初めて質問します。

いま，ある2つのケースで比率の差を検定したいと思っています。
（AとBのケースにおいて，ある事象の比率が下記の場合，比率に有意な差があるか？）

(1)サンプルサイズが数百の場合
ケース　　n     比率
A　　　　140     56.0%
B        458     60.3%

(2)サンプルサイズが巨大な場合
ケース　　n     比率
A　　　　7471    55.8%
B       24897    61.5%

(1)だとAとBに有意差はなく，(2)だと有意差あり，との結果になりました。

そこで疑問なのですが，どんなケースでも，サンプルサイズさえ増やせば，有意差を出せてしまうのですが（今回のケースではサンプルサイズを増やすことによるコストはほとんどかかりません），有意差を出したいために，いたずらにサンプスサイズを増やしてもいいのでしょうか？

有意差を出したければ故意にサンプルサイズを増やせばいいし，出したくなければ小さいサンプルサイズにしてしまえばよく，そのあたりに客観性とか中立性がないのでは，と疑問に感じてしまいました。他人からも「自分の都合でサンプルサイズを決めているのでは？」と突っ込まれ，信頼性がなくなってしまいそうです。

そこで質問なのですが，
[1]サンプルサイズを決める目安とか基準はあるのでしょうか？
[2]効果量という指標があるようですが，あまり一般的ではないように思います。計算方法や，数値の読み方（いくつくらいなら，信頼できる，など）について教えてください。
[3]今回のケースのように，AとBでサンプルサイズが大きく異なる（偏っている）場合でも比率の差の検定は有効でしょうか？
を教えてください。よろしくお願いします。

No.13582　Re: サンプルサイズと有意差について　　【青木繁伸】　2010/10/09(Sat) 23:14

> どんなケースでも，サンプルサイズさえ増やせば，有意差を出せてしまうのですが（今回のケースではサンプルサイズを増やすことによるコストはほとんどかかりません），有意差を出したいために，いたずらにサンプスサイズを増やしてもいいのでしょうか？

いいわけありません。
実質的に意味があるといえる差を設定し，有意水準と検出力を設定して，必要なサンプルサイズを設定して調査するべきです。

> 効果量という指標があるようですが，あまり一般的ではないように思います

一般的な利用者に問題のあることで，「効果量」に問題があるわけではありません。

> AとBでサンプルサイズが大きく異なる（偏っている）場合でも比率の差の検定は有効でしょうか

まえもってサンプルサイズを割り付けることができない（調査の後で群分けするような）場合にはやむを得ないことでしょう。
良いの悪いのではありません。合計サンプルサイズが決まっているときには，サンプルサイズを等分に割り当てる場合が一番検出力が高くなるということに過ぎません。

# 丸付き文字は使用しないようにお願いしています。強要はしませんが，リターンキーを押して改行することも避けてください（なぜ，リターンキーを押して改行するのがよくないか考えてみてください）。

No.13583　Re: サンプルサイズと有意差について　　【なおくん】　2010/10/10(Sun) 00:24

早速のご回答，ありがとうございました（昨晩一晩悩んでいたのがすっきりしました）。お手数ですが，もう少しだけ教えてください。

>実質的に意味があるといえる差を設定し，有意水準と検出力を設定して，必要なサンプルサイズを設定して調査するべきです。

この点ですが，
1．まず，例えば，標本比率が，A＝50%，B=60%　であった場合，自分で実質的に意味があるといえる差を，3%とか，5%とか，10%などと設定する。
2．次に，有意水準（例えば5%），検出力（例えば80%）を決め，サンプルサイズを決める。
3．検定を実施し，有意な差が出るかどうか，調べる。
という流れでよいでしょうか？特に1について，今まで意識していなかったので，この考え方であっているか，不安です。

サンプルサイズが，A郡とB郡で異なる場合ですが，もともと母集団のだいたいのA:Bの比率が，例えば10：1であった場合，私は標本も，A:B=10:1　で取ろうとしていたのですが，そういうことをせず，標本は，A:B=1:1にして，比率を算出する方がよいですか？

よろしくお願いします。

No.13584　Re: サンプルサイズと有意差について　　【青木繁伸】　2010/10/10(Sun) 07:21

> という流れでよいでしょうか

よいでしょう。

> 母集団のだいたいのA:Bの比率が，例えば10：1であった場合，私は標本も，A:B=10:1　で取ろうとしていたのですが，そういうことをせず，標本は，A:B=1:1にして，比率を算出する方がよいですか？

差を見たいだけなら同じ数の標本をとるのがよいでしょう。他の目的もあるなら，比例抽出の方が良いと思います（単純無作為抽出をすれば，ほぼ比例する）。

No.13585　Re: サンプルサイズと有意差について　　【なおくん】　2010/10/10(Sun) 12:39

ありがとうございました。
参考になりました。

No.14357　Re: サンプルサイズと有意差について　　【高橋嘉宏】　2011/02/23(Wed) 17:34

内閣支持率について，NHKや民放が，千～3千不特定の方に対する，電話による質問で，支持率が何％上下したなどの放送を定例的に何度も行っている。これだけのサンプルで，あたかも現実の様な言動は慎むべきである。母集団は1億人前後，とても有為性は無いと考えるが，何故この様な事が横行するのか彼らがやっている，その意味についてお尋ねします。統計データには，有為性値を添付しなければ，無意味となる筈でしたが。

No.14358　Re: サンプルサイズと有意差について　　【青木繁伸】　2011/02/23(Wed) 17:47

別にテレビ局や新聞社の味方をするわけではありませんが，サンプルサイズは母集団の大きさに左右されるものではありません(母集団サイズが小さくて，無限母集団が仮定できない場合は別として)。ちゃんと無作為抽出した標本においては，ちゃんと検定を行えば，確率論に基づいた「正しい結果」が得られます。それを「不正確・不十分に解釈する」から話がおかしくなることもあるというだけの話です(両方向について同じことが言えます)。
検定についてただしく理解すれば良いだけの話です。用語も正しく使いましょう。