「統計学関連なんでもあり」の過去ログ--- 041

No.06036　サンプルサイズの決め方　　【hemiptera】　2008/03/04(Tue) 22:28

統計のサンプルサイズの決め方がわからず困っています。
significance，検出力と総データ数を指定して，フィッシャーの正確確率テストやカイ二乗検定のサンプルの最少有効サイズを計算するにはどのような式で計算すればよいのでしょうか。いろいろ探してみましたが，フィッシャーの正確確率テストやカイ二乗検定に関する求め方を書いてある文献にいきつきませんでした。
フリーソフトで，フィッシャーの正確確率テストやカイ二乗検定のサンプルの最少有効サイズを計算できるものが，あればそちらも教えていただければ幸いです。よろしくお願いします。

No.06037　Re: サンプルサイズの決め方　　【青木繁伸】　2008/03/04(Tue) 22:55

2×2分割表の場合のカイ二乗検定（独立性の検定）は，二群の比率の差の検定と等価ですから，R の power.prop.test (Power calculations two sample test for proportions)で計算できますね。Fisher の正確検定は独立性の検定ではあるが，カイ二乗検定のサンプルサイズで良いのかどうかは不明（たぶん，近いでしょうけど）。
さて，それより大きいサイズの分割表の場合にはどうなりますかね。G*Power というフリー・ソフトがあるのだけど，その中にあります（Leopardで動かなくなったので私は使えない）。G*PowerはWindows用もある (Vista で動くかどうかは知らない）。
http://www.psycho.uni-duesseldorf.de/aap/projects/gpower/

No.06046　Re: サンプルサイズの決め方　　【hemiptera】　2008/03/05(Wed) 11:59

ありがとうございました。関連する質問をさせていただきたいのですが，powerが小さな値のときでも，帰無仮説を棄却できる場合は，結果的には問題ないのでしょうか。powerが小さいときに起こる問題は，帰無仮説が誤っているにもかかわらず帰無仮説を採択するという誤りを犯しやすくなるというもののはずなので，帰無仮説を棄却できた場合にはあまり考えなくてよい気が僕はしますが，一般的にはどう受け止められているのでしょうか。回答よろしくお願いいたします。

No.06047　Re: サンプルサイズの決め方　　【青木繁伸】　2008/03/05(Wed) 12:05

> powerが小さいときに起こる問題は，帰無仮説が誤っているにもかかわらず帰無仮説を採択するという誤りを犯しやすくなるというもののはずなので，帰無仮説を棄却できた場合にはあまり考えなくてよい気が僕はしますが

それは，結果論なんでしょうね。たとえば power が 0.5 ということは，実際にデータを集めて検定したら，もくろみ通り有意であるという結果が得られるのは五分五分ということを表しているわけです。実際に調査をやってもくろみ通り有意であるという結果が得られたら，それは「うまくいった方の50%が起きたんだなあ」という解釈です。うまくいかない可能性も50% あったことには間違いない。もし，power が 0.1 であっても，うまくいく可能性はあるけど，失敗する可能性は無視できないほど大きい。だったら，もうちょっとサンプル設計に気を配ろうということになるでしょう。うまくいかないことが明らかなのに，低い成功確率に賭けるというのは調査費をドブに捨てるようなものです。
> power.t.test(delta=0.2, power=0.1) # サンプル設計

     Two-sample t test power calculation 

              n = 23.99663
          delta = 0.2
             sd = 1
      sig.level = 0.05
          power = 0.1
    alternative = two.sided

 NOTE: n is number in *each* group
N(0, 1) と N(0.2, 1) から，power = 0.1 になるようにするには，サンプルサイズは 24 ずつ
> sim <- function(n, delta, loop=10000)
+ {
+ 	count <- 0
+ 	for (i in 1:loop) {
+ 		x <- rnorm(n)
+ 		y <- rnorm(n, mean=delta)
+ 		if (t.test(x, y, var.equal=TRUE)$p.value < 0.05) {
+                       count <- count+1
+               }
+ 	}
+ 	return(count/loop)
+ }
> sim(n=24, delta=0.2, loop=50000)
[1] 0.10454 # 確かに power は 10% 程度だ

No.06100　Re: サンプルサイズの決め方　　【hemiptera】　2008/03/10(Mon) 19:31

青木先生，どうもありがとうございました。その後，Fisher の正確確率テストのサンプルサイズの求め方を見つけることができました.(http://www.kdcnet.ac.jp/hepatology/technique/statistics/samplesize.htm)
しかしながら，比率の検定の場合のサンプルサイズというものは，標本比率，母比率，検出力，有意水準がわからなければ計算できないのでしょうか。つまり，標本比率，母比率がわかっていない段階で，だいたいのサンプルサイズを決まるための計算方法はないのでしょうか。じつは，提出していた原稿が，サンプルサイズが小さいもので，有意差が出ていないものは，検出力が低いせいかもしれないから，サンプルサイズが小さい物は検定しても意味がないのではないのかと注文をつけられました。確かにその意見はそのとおりなのですが，有意差が出てほしくてやった検定ではなく，有意差が出るかどうか確かめることが目的だったので，有意差がでなかったからといって，有意差がでるまでサンプルサイズを増やしたらよいとはとても思えません。ただ標本比率，母比率(期待される比率)とは関係なく，これくらいのサンプルサイズがよいという基準があるのならそれには従いたいと思います。そのreviewerによるとまさに標本比率，母比率に関係なくしたがうべきものがあるといったコメントでした。彼によると，Fisher の正確確率テストの場合で検出力（80%），有意水準 (5%)のときは，ミニマムエフェクトサイズはおよそ0.12だということでした。つまり，標本比率，母比率に関係なく必要とするサンプルサイズを求めることができるらしいのです。そしてこの0.12にデータ数でかけてでてきた数字より大きいデータについて検定に使うべきだということでした。(データ数とはどういうことかというと，プロット数で，そのプロットをある性質で2つに分けました。最初にプロットを二分した性質がほかの性質に影響を及ぼしているかを見るために，Fisher の正確確率テストを行ったのです。たとえば全部で100個のプロットがあって，最初にある性質で，60と40わけました。その後60あるうちの15で別のある性質がみられ，40あるうちでは別の性質が2つ見られる。という場合にFisher の正確確率テストをおこないました。)　reviewerによると，総出現回数が，100×0.12＝12より総出現回数が12を下回っている性質については，検出力が低いので検定しなくてもよいのではといわれました。この考え方はどのような計算によるのでしょうか。
どなたか回答よろしくお願いいたします，また貴重なスペースで長文になってしまい申し訳ありませんでした。

No.06101　Re: サンプルサイズの決め方　　【青木繁伸】　2008/03/10(Mon) 21:58

> 標本比率，母比率がわかっていない段階で，だいたいのサンプルサイズを決まるための計算方法はないのでしょうか

標本比率，母比率の見積もりすらないという状況で，サンプル設計はできないでしょう。
如何にもっともな見積もりを使えるかがサンプル設計で重要でしょう。
それらが分かっていないというのは明らかであるが，分からないのでどうしようもないと言うことにはならない。先行研究もあるでしょうし，パイロットサーベイの結果も利用すべし。
少なくとも，なん通りかの仮定の下でサンプルサイズがどの程度の範囲に収まるのかをケントする必要があるでしょう。

> サンプルサイズが小さいもので，有意差が出ていないものは，検出力が低いせいかもしれないから，サンプルサイズが小さい物は検定しても意味がないのではないのかと注文をつけられました

これじゃあ，検定をやる前，つまりデータを集める時点で勝負が決まっているじゃないですか。データを集めるまでもない，データ収集やること自体無駄じゃ！，研究する価値がない，ということがあるということでしょう。それはあんまり。

検定の意味がないのではなく，実際に行った調査・実験で検出できる差はどれくらいか，検出力はどれくらいなのかを検討するのが事後のパワーアナリシスでしょう。
検出力は十分なのに有意差が出ていないのか，検出力が不十分なので有意さが出ないのかは事後のパワーアナリシスでしか分からないでしょう。

> Fisher の正確確率テストの場合で検出力（80%），有意水準 (5%)のときは，ミニマムエフェクトサイズはおよそ0.12だということでした

近似的なものでしょう（実際にどのような基準で判定しているのかは分かりませんが。ちょっとやってみたけど，そのような基準は導けない）。実際に行った条件と仮定に基づいて，正確な検出力を求めれば済むだけだと思いますけど。
昔の時代では，いちいちの細かい条件で検出力を求めることが困難だったので，いくつかの代表的な条件で計算を行い間を補間したり，大まかな目安としてまとめたりしていたのではないでしょうか？

No.06115　Re: サンプルサイズの決め方　　【hemiptera】　2008/03/12(Wed) 19:13

青木先生どうもありがとうございました。大変参考になりました。reviewerのかたに納得できる説明をできるかどうかわかりませんが，反論できるところは，反論してみたいと思います。
しかし実際に検出力を求めるにしても，標本比率と母比率が非常に近い値のときは，検出力はかなり低い値になると思います。たとえば，標本比率を50％，母比率を49．9％にすると，有意水準 (5%)でサンプルサイズをもとめると，検出力が1％のときでも，サンプルサイズは10万を超えました。このように，標本比率と母比率が非常に近い値の場合は，ある程度頑張ってデータを集めて，パワーアナリシスをしても検出力が低いという結論にしかならないと思います。しかしサンプルサイズがある程度大きく，標本比率と母比率が非常に近い値のときは，「帰無仮説を棄却すべきだったのに棄却していない」のではなく，「帰無仮説を棄却すべきなく，やはり棄却していない」場合も多々あると思います。これを統計で証明することはできないのでしょうか。

No.06116　Re: サンプルサイズの決め方　　【青木繁伸】　2008/03/12(Wed) 19:34

> 標本比率と母比率が非常に近い値のときは，「帰無仮説を棄却すべきだったのに棄却していない」のではなく，「帰無仮説を棄却すべきなく，やはり棄却していない」場合も多々あると思います。これを統計で証明することはできないのでしょうか。

そのような場合には，「実質的な差がない」のですから，検定など不要というケースです。統計学以前の，固有科学の段階で結論が付けられる事です。

No.06118　Re: サンプルサイズの決め方　　【hemiptera】　2008/03/12(Wed) 19:50

青木先生どうもありがとうございました。教えていただいたこと，この機会に勉強したことを踏まえて，これからはきちんとサンプルサイズにも目を向けていきたいと思います。（実は大学では生物統計学なるものを履修したのですが，有意水準については詳しい説明がなされたのですが，検出力の話をほとんど聞きませんでした。）もっと検出力やパワーアナリシスには関心を持っていかなければなりませんね。今後ともよろしくお願いいたします。