「統計学関連なんでもあり」の過去ログ--- 044

No.14269　サンプルサイズが大きすぎる　　【駆け出し者ですが】　2011/01/31(Mon) 10:35

初めまして。統計を習い始めたものです。
単純なことかもしれないのですが，少し疑問に思うことがありますのでアドバイス頂けないでしょうか。

今，2万件弱のデータを用いて，カイ2乗検定を行おうとしているのですが，これだけのサンプルサイズですと，検出力が高くなり，有意に出やすくなると思うのですが，2万件弱のデータすべてを用いた検定は有効なものになるのでしょうか。
また，有意と出ても，effect size（CramerのV統計量を使用）が小さいとと意味が無いのでしょうか。
サンプルが母集団に近づいていくため，サンプルサイズは大きければ大きほどよいという考えでいましたが，どうなのでしょうか。
アドバイスいただけたら幸いです。

No.14270　Re: サンプルサイズが大きすぎる　　【青木繁伸】　2011/01/31(Mon) 10:41

> 2万件弱のデータすべてを用いた検定は有効なものになるのでしょうか。

それが標本なら，それを使って検定するしかないでしょう。
本来，標本調査は，検出したい差や検出力などに基づいてサンプルサイズを見積もってから行うものです。その見積もりで得られるサンプルサイズより大きい標本で検定すると検出力は大きくなりますね。

> 有意と出ても，effect size（CramerのV統計量を使用）が小さいとと意味が無いのでしょうか。

そういうことでしょう。統計的な有意か有意でないかと，実質的に意味があるかないかは別物です。

No.14271　Re: サンプルサイズが大きすぎる　　【駆け出し者ですが】　2011/01/31(Mon) 11:06

青木先生

早速のお返事ありがとうございます。

> 本来，標本調査は，検出したい差や検出力などに基づいてサンプルサイズを見積もってから行うものです。

後からになりますが，必要な検出力が得られるだけのサンプルザイズを計算し，このデータから得られたサンプルザイズをランダムに複数セット抽出して，その抽出したデータ毎にカイ2乗検定などにかけて，その平均を代表値としても問題ないでしょうか。この方法だとeffect sizeにも効果が出てくるかもしれないのですが，間違った方法でしょうか。

No.14272　Re: サンプルサイズが大きすぎる　　【青木繁伸】　2011/01/31(Mon) 14:06

一度取ったデータの中から幾分かを捨てるというのは，取るべき方法ではありません。