「統計学関連なんでもあり」の過去ログ--- 041

No.06464　回収率と有効性　　【熊崎俊英】　2008/05/02(Fri) 06:14

アンケート調査においてその回収率と統計学的有意性についてご教授ください。
例えば，回収率30％のアンケートで80％の「YES」が有った場合，このアンケートから，この設問についての全体の80％の人が「YES」と思っていると言えるのでしょうか？

No.06466　Re: 回収率と有効性　　【青木繁伸】　2008/05/02(Fri) 09:13

> 全体の80％

ここで言っている「全体」とは何を指しますか？
調査対象（母集団）そのもののことを言っているとしたら，それは言えないでしょう。

アンケートに答えなかった70％の人がどういう意見かわかりません。
そもそもアンケートの対象にならなかった人の意見もわかりません。

回答者のYES率と母集団のYES率が等しいために，どういう条件が必要かはわかりますよね。確率論の問題です。
アンケート回答者と非回答者でYES率は同じであること。
アンケート対象者と非対象者でYES率は同じであること。
それを保証するにはどういうことが必要かということです。

No.06467　Re: 回収率と有効性　　【相談者】　2008/05/02(Fri) 11:11

私が投稿するというのもおこがましいですが，自分の考えが正しいかの確認も込めて。

調査方法が無作為抽出だとして，青木先生の言われたことをもう少しかみくだくと，そのアンケート調査で何を調べたいか，つまり統計学的に言うと何を検定したいか，すなわち，

帰無仮説：YES率＝70％
対立仮説1：YES率≠70％
対立仮説2：YES率＜70％
対立仮説3：YES率＞70％

があるとして，まず対立仮説を1つ決める。次に，その対立仮説に基づいて標本設計をする。実際に回収できた標本数が，標本設計で求められるサンプルサイズを上回っていれば仮説検定をして結論を出す。というような流れだと思います。

このような理解でよろしいでしょうか。問題あると思われる方はコメントをお願いいたします。

No.06469　Re: 回収率と有効性　　【青木繁伸】　2008/05/02(Fri) 12:41

要するに回答者と非回答者が同じYES率を持たない限り，回答者のYES率が全体のYES率を表すものではないということです。

極端なことを考えればすぐわかります
回収率30％で80％がYESだったとする。
しかし，アンケートを送られたけど，自分はNoだけど回答するのがいやだとか，面倒くさいから回答しない（どうしても回答しなきゃいけないのならNoと答えるけど）とかいろんな人がいて，それらの人のYes率はわからないのだけど本当は10%だとしたら，全体のYes率は 0.3*0.8+(1-0.3)*0.1=0.24+0.07=0.31 つまり31％しかないということですよ。
回答するかしないかがYesかどうかに関係なくランダムに決まるものなら，回答しなかった人のYes率も80%なので 0.3*0.8+(1-0.3)*0.8=0.8 ということですよ。

No.06472　Re: 回収率と有効性　　【相談者】　2008/05/02(Fri) 13:09

すみません。先ほど送ったのに誤りがありました。
YES率80％を70％と勘違いしていました。

正しくは，次のとおりでした。

帰無仮説：母集団YES率＝80％
対立仮説1：母集団YES率≠80％
対立仮説2：母集団YES率＜80％
対立仮説3：母集団YES率＞80％

No.06473　Re: 回収率と有効性　　【相談者改めUA】　2008/05/02(Fri) 15:06

このスレッドをお借りして，青木先生及び皆様に質問させていただきます。

例えば母集団10万人に対する無作為調査を実施するとして，回収率が何％なら統計的に有効なのかという質問を，統計学の知識があまりない人からよく受けます。

この時，私は，標本設計をしてサンプルサイズを求め，その結果に母集団に対して何％位の標本が必要ということは言えるが，いきなり10万人なら1000人，1万人なら100人というような基準はないと答えています。

しかし，回収率が高いほど調査結果が有効になるという常識というか考え方があまりに強いためか，統計学の知識なしに質問してくる人はなかなか納得しません。

この場合，質問者を納得させるため「もし母集団が10万人ならサンプルは1000人で良いというような基準があるなら，それは全体の1％であり，もし母集団が100人なら1人だけ調べると良いことになるが，そんなことはないでしょう」と説明することにしています。

こう答えることについて，どのように思われますか。青木先生及び皆様コメントをお願いいたします。

No.06475　Re: 回収率と有効性　　【青木繁伸】　2008/05/02(Fri) 16:14

通常の標本調査をする際，母集団の大きさによって標本サイズが影響を受けることはありません。パワーアナリシスについて調べれば，パワーアナリシスのパラメータに母集団の大きさというのはないと言うことがわかるでしょう。

ついでに。学力テストとか運動テスト称して，全国の小中学生◎◎年生を対象に全数調査をしたりしているようですが，あんなのは無駄です。標本調査はせいぜい 3000位データを集めれば十分です。逆に言えば，3000より多くのデータを集めるような調査は，集めすぎなんです。全数調査は，標本誤差は0になりますが，非標本誤差が大きくなるでしょう，と，いうことが，社会調査論などと表題をつけた本に注として書かれていることでしょう。

なお，ここ最近2件ほど質問のあった，有限母集団というか，調査対象300程度からのほぼ全数に近い標本抽出というのは，通常の標本調査には含みません（そういう場合のパワーアナリシスというのもありません--と思う）。

No.06476　Re: 回収率と有効性　　【takahashi】　2008/05/02(Fri) 17:03

本題とは関係ないですが，最近話題の全国学力テストは，「お前んとこの学区は成績悪いから助成金減らす」とか言う使われ方がするとかしないとか。
だからセンセイが暗に答えを教えているところがあるとかないとか。

あくまで噂ですが。

No.06480　Re: 回収率と有効性　　【birei】　2008/05/03(Sat) 22:44

こう言うの，Undocumented Biasとかその辺の問題なのでは？
Biasの元を調査しないとデータとして意味を成さない例だと思います。
非標本誤差は良く知りませんが系統誤差（統計用語かどうかは知りませんが）の部類だと思います。
誤差は大別して，偶然誤差（統計推定用・パターン有り）・系統誤差（分布が不明でパターン化が難しいか無い）。
私の知る限りこの系統誤差は推定には使えません（非回答は系統誤差の部類と思います）。
ですので一般的にはそれぞれの誤差は和を取る事で処理しています。
私の場合無回答があった調査では，無回答分を全員Yes～全員NOまで誤差範囲に入れて計算した事があります。無回答が数％だったからですが…
回収率30％ではソレも出来ないと思います。

No.06485　Re: 回収率と有効性　　【熊崎俊英】　2008/05/05(Mon) 06:05

大変参考になりました。有難うございました。