「統計学関連なんでもあり」の過去ログ--- 041

No.04636　確率値の誤差　　【くみ】　2007/11/07(Wed) 10:04

はじめて質問します。よろしくお願いします。

下は，統計学の教科書に載っている基本的な問題です。
-----------------------------------------------------------------------------
ある母集団があって，それは白と黒の無限の数のボールだとします。
そこからN個ランダムに取り出して確認する作業をします。
白がn個見出される確率分布は
f(n) = N!/n!/(N-n)! * p^n * (1-p)^n，ここで，p = <n>/N：白いボールの存在比です。<n>は平均値。
標準偏差sigma = sqrt(<(n-<n>)^2>)を計算すると，sqrt(Np(1-p))となります。
したがって，pについての誤差は，sigma/N = sqrt(p(1-p)/N)となります。
-----------------------------------------------------------------------------

ある母集団でN=100個をランダムに調べたとき，n=50個だったとします。
この場合，n≒<n>=50としてしまって問題無いと思います。
p≒50/100=0.5になります。
したがって，pについての誤差は，
sigma/N = sqrt(p(1-p)/N) = sqrt(0.5*0.5/100) = 0.05となります。

さて，別の母集団でN=100個をランダムに調べたとき，たまたまn=0個だったとします。
この場合，n≒<n>=0としてしまうと，
p≒0/100=0になります。
したがって，pについての誤差は，
sigma/N = sqrt(p(1-p)/N) = 0となってしまいます。

上の場合では，白い玉は必ず入っているけれど，1/100程度以下であると予想されます。
しかし，その母集団で次に100個調べなおした場合は，n=1個という結果が出るかもしれません。この場合は，ちゃんと誤差がつけられます。

しかし，100個を複数回調べることが非常に困難な観測の場合，たまたまn=0という結果が出てしまったときに，その誤差棒をゼロとしてしまって良いのでしょうか？
誤差棒ゼロとしてしまうと，なんか絶対に白は存在しないと言い過ぎる気がします。

ここが知りたいところです。どうぞよろしくお願いします。

No.04638　Re: 確率値の誤差　　【韮澤】　2007/11/07(Wed) 12:11

どこをどう間違えて，何を悩んでいるのかが，分からない感じです。統計学からは，母集団の全てを調べない限り，白い玉は「絶対に存在しない」などと言う答えは出ません。（全て調べたら，統計学の範疇ではなくなりますが）

白い玉の比率が低い場合に検出できるのか，との悩みであれば，母集団内の白いボールの比率ありきで，N個抜き取った時にどうなるかを考えた方がいいと思います。これだと，品質管理で使われる抜取検査の統計手法が使えます。例えば，白いボールの比率が1％だった時，231個調べて，白い玉が0個である確率は 10％となります。逆方向に定義を変えると，231個調べてみて白い玉が0個であったなら，90％の信頼度（確実さ）で白い玉の比率は1％以下でしょう，というのが答えです。
この計算は，ポアソン分布に基づいていて，母集団の比率と結果の関係を示すのは，OC曲線と言われるものです。このふたつのキーワードで調べてみて下さい。

No.04646　Re: 確率値の誤差　　【青木繁伸】　2007/11/07(Wed) 21:48

「誤差棒」というのは error bar ですか（^_^；）珍しい訳語ですね。

さて，あなたが仰っているのは，標本比率を母比率の最尤推定として用いる場合のお話ですね。
確かに，標本比率が0ならば母比率も0と「推定」されますが，実際に「母比率は0」ということでないことは明らかです。
「sigma/N = sqrt(p(1-p)/N) 」というの正規近似でのお話なので，極端な場合にはそれに従うわけではありません。
用途にもよりますが，母比率の区間推定の場合には
http://aoki2.si.gunma-u.ac.jp/lecture/Hiritu/bohiritu-conf.html
のようなことになりますし，検定の場合にも，正規近似ではなく二項検定を使うことになるでしょう。二項検定の時に「使われる標準誤差は何か」といわれても，そんなものはないわけで。。。

No.04653　Re: 確率値の誤差　　【くみ】　2007/11/08(Thu) 13:43

韮澤様，青木様

懇切丁寧なご回答，大変感謝しております。
正規近似をそのまま適用しておりました。勉強不足でした。
また，最近の理論もご紹介ありがとうございます。
おかげさまで解決しました。