「統計学関連なんでもあり」の過去ログ--- 043

No.12117　並べ替え検定の検出力について　　【R初心者】　2010/02/18(Thu) 17:22

並べ替え検定について調べているのですが，これらの過去のスレッドを読んで，シミュレーションをしてみると，
No.07610　サンプルサイズが小さい場合の有意差検定
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc042/07610.html
No.06366　検出力
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc041/06366.html
正規分布の場合には，t検定よりも若干低い検出力が得られるのではないかと思いました（確信がもてないのですが・・・）

しかし，並べ替え検定は「正確なp値」を得ることができると考えると，第1種と第2種の誤りの概念が当てはまるのか，わからなくなってきました。また，並べ替え検定の検出力はどのように考えればよいのでしょうか？

とんちんかんな質問をしているかもしれませんが，何かご存知の方がおられたら，ご教示いただければ幸いです。

No.12119　Re: 並べ替え検定の検出力について　　【青木繁伸】　2010/02/18(Thu) 18:47

> 「正確なp値」を得ることができる

t 検定でも何でも，厳密に言えば，統計量の分布をある統計関数で近似しているのです。それに対して，並べ替え検定は，直接的にP値を求める（統計量がある値より極端になる場合の数をすべての場合の数で割る）ので「正確」というわけです。

2 つのカテゴリー変数に対して独立性の検定を行うとき，カイ二乗分布による検定は漸近検定であり，カイ二乗分布により近似的な P 値を求める。同じ目的の Fisher の正確検定は，観察された分割表より極端な分割表が得られる割合（確率）を求め，それがP値なので，正確な値が求められる。それを考えると，「正確なP 値」と，第一種の過誤や第二種の過誤などとの関係は，カイ二乗分布の近似から得られた「近似的なP値」と何の違いもない。

No.12148　Re: 並べ替え検定の検出力について　　【R初心者】　2010/02/22(Mon) 17:39

青木先生，ご教示ありがとうございました。

何度も申し訳ございませんが，ご教示いただいた内容が正しく理解できているか不安でしたので，再度質問させていただけますでしょうか？すみません。

>「正確なP値」と，第一種の過誤や第二種の過誤などとの関係は，カイ二乗分布の近似から得られた「近似的なP値」と何の違いもない。

例えば，青木先生のFisher の正確検定のページの例だと，
http://aoki2.si.gunma-u.ac.jp/lecture/Cross/Fisher.html
p値は以下のようになるので，

- カイ二乗検定（イェーツの連続性の修正なし）
p-value = 0.004826

- Fisher の正確検定
p-value = 0.008138

これらのp値を使って（事後の）検定力分析を実施すると，以下のような結果が得られました。
- カイ二乗検定（イェーツの連続性の修正なし）の検定力
> chi.pwr <- pwr.chisq.test(w=0.4633, N=37,df=1,sig.level=0.004826)
> chi.pwr

     Chi squared power calculation 

              w = 0.4633
              N = 37
             df = 1
      sig.level = 0.004826
          power = 0.4998882

- Fisher の正確検定の検定力
> fisher.pwr <-  pwr.chisq.test(w=0.4633, N=37,df=1,sig.level=0.008138)
> fisher.pwr

     Chi squared power calculation 

              w = 0.4633
              N = 37
             df = 1
      sig.level = 0.008138
          power = 0.5682238
このデータでは，Fisher の正確検定のほうが検定力が高いと解釈しても，間違いないでしょうか？

No.12153　Re: 並べ替え検定の検出力について　　【青木繁伸】　2010/02/22(Mon) 22:30

pwr.chisq.test とは，どういう名前のパッケージにあるんですか。回答者の手間をとらせないように，質問者がちゃんと書いておくべきでしょう。

へえ～ pwr パッケージにあるんですね。

オンラインヘルプをみましたか？
sig.level に指定する値はなんだと思いますか？0.05 とか，要するに，有意水準 α なんじゃないですか？どちらの検定が優れているかは，そんな複雑なことをしなくても，αとβのトレードオフを考えるだけでよいので，同じデータでP値が小さい検定の方が検出力は高いということになります。

w は効果量ということですけど，どうやって計算しましたか？どうやって計算したかはっきり書いておかないと，使い方に問題ないかどうか，聞かれてもわかりません。

いずれにしろ，オンラインヘルプをよく読んでから使うのが第一歩です。

No.12169　Re: 並べ替え検定の検出力について　　【R初心者】　2010/02/24(Wed) 23:41

> 回答者の手間をとらせないように，質問者がちゃんと書いておくべきでしょう。

お手数をおかけしてしまい，すみませんでした。

> オンラインヘルプをみましたか？sig.level に指定する値はなんだと思いますか？0.05 とか，要するに，有意水準 α なんじゃないですか？

すみません。恥ずかしいことに，勘違いしてp値とαを混同しておりました。

> どちらの検定が優れているかは，そんな複雑なことをしなくても，αとβのトレードオフを考えるだけでよいので，同じデータでP値が小さい検定の方が検出力は高いということになります。

明快なご説明，ありがとうございます。

そうすると，Fisher の正確検定のほうがふさわしいようなサンプルサイズが小さい場合の分析で，カイ二乗検定も行ってp値がFisher の正確検定よりも小さくなったときに，「正確なp値」が出せる Fisher の正確検定よりも，「カイ二乗検定のほうが検出力が高い」ということもあり得るのですね。

> w は効果量ということですけど，どうやって計算しましたか？どうやって計算したかはっきり書いておかないと，使い方に問題ないかどうか，聞かれてもわかりません。

申し訳ございませんでした。

wは「検定力分析入門」（豊田秀樹編著，東京図書）で，2×2の分割表のときにはクラメールのVと同じ値になると説明があり（p. 101），クラメールのVは2×2の分割表のときにはファイ係数と同じ値になるので，青木先生の以下のスクリプトを使用して計算しました。
http://aoki2.si.gunma-u.ac.jp/R/zokusei-soukan.html
また，wも実際に計算してみて，上記の結果と比べて同じであることを確認しました（SPSSでも確認しました）。

いろいろと調べていたら，こちらにも同じような内容の質問があることに気づきました。
No.06036　サンプルサイズの決め方
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc041/06036.html
それなのに，丁寧にご説明をしていただき，どうもありがとうございました。