「統計学関連なんでもあり」の過去ログ--- 042

No.09110　二つの正解率の差の検定　　【田中】　2009/02/04(Wed) 10:04

はじめまして。
統計がわからないので質問させていただきます.

ランドルト環(視力検査に使うもの)の方向を答えてもら実験を一人の被験者に200回,6名の被験者に対して行いました.
ただし，問題は二つの試行があります.
一つ目は普通に見ることができる試行A(簡単に知覚することができる)と
二つ目はある脳内現象を起こし,普通には見えない試行B(知覚することが難しい）です.
これをランダムに呈示し実験を行っています.

今回は試行Aと試行Bの正解率の平均に差があることを統計的手法を用いて証明しようと試みております.

試行Aの方が知覚しやすく正解率が高く(平均90％),
試行Bの方が知覚しにくいので正解率が低いです(平均70％）.

試行Aと試行Bの違いはある脳内現象を起こすようにしているだけでほかの要因は同じにしております.

このままの正解率のままでt検定を行おうと思っているのですが大丈夫なのでしょうか？

統計学は素人のため,変なことを書いているかもしれませんがご容赦ください.
よろしくお願いします.

No.09113　Re: 二つの正解率の差の検定　　【sb】　2009/02/04(Wed) 19:43

素朴な方法ですが，，，。

「二項分布：結果が成功か失敗のいずれかである n 回の独立な試行を行ったときの成功数で表される離散確率分布である。」Wikipediaより抜粋。

Rで計算すると，
binom.test(180, 200) # 試行回数200, 成功回数180
binom,test(140, 200)

結果。
試行A: 0.9 (0.85～0.94) 成功確率とその95%信頼区間
試行B: 0.7 (0.63～0.76)

試行A,Bの95%信頼区間が重ならないので統計学的に有意な差があると考える。

これを，6人全ての被験者について行う。

No.09114　Re: 二つの正解率の差の検定　　【青木繁伸】　2009/02/04(Wed) 21:48

個々の群の95％信頼区間が重ならないから差があるとするのは，厳密に言えば正しくないです。
以前，独立二標本の平均値の差の検定について，個々の平均値の95％信頼限界値が重なっても，平均値に差がないと言う帰無仮説を棄却する結果になる例を示したことがあります。
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc038/00236.html
> r1 <- 180
> n1 <- 200
> binom.test(r1, n1)$conf.int # 信頼区間1
[1] 0.8497872 0.9378406
attr(,"conf.level")
[1] 0.95
> r2 <- 160
> n2 <- 200
> binom.test(r2, n2)$conf.int # 信頼区間2
[1] 0.7377736 0.8531055
attr(,"conf.level")
[1] 0.95                      # 95% 信頼区間は重なる
> fisher.test(matrix(c(r1, n1-r1, r2, n2-r2), 2, byrow=TRUE))$p.value # P 値
[1] 0.007419237               # しかし，2つの比率には有意な差がある
では，どうするか。200回ずつの検査の成功率を単純なデータと見て，6対のデータ（対応のあるデータ）について，符号付順位和検定を行うとか。。

No.09116　Re: 二つの正解率の差の検定　　【sb】　2009/02/04(Wed) 23:07

なるほど，Fisherで行うべきですね。

「95%の信頼区間が重なれば，有意では無い」と何の根拠も無く，思い込んでいました。間違っている，あるいは，判らないと云う意識がないだけに，思い込みは怖いですね。多分，まだ沢山あるのでしょう。

しかし，恥を晒した分だけ見返りは大きかったです。有難う御座います。

No.09117　Re: 二つの正解率の差の検定　　【sb】　2009/02/04(Wed) 23:27

ある手術後，院内死亡集計が，病院ごとに，死亡率とその95%信頼区間が公表されているとします。これを見ると，死亡率には，かなりの差が見られるものの，信頼区間は殆んど重なり，統計学的には，有意では無いのかなとの印象を受けます。

私の様な誤解をさせない為には，どの様な標記方が望ましいのでしょうか。

No.09118　Re: 二つの正解率の差の検定　　【青木繁伸】　2009/02/04(Wed) 23:39

ちょっと，脇道に入りますけど。

個々の群に対する死亡率の信頼区間を付けないほうがよいと思います。なぜ付けるかというと，やはり，信頼区間が重なるかどうかを見せたいという意識があるのでしょう。見る方もそのように解釈してしまいます。表記すべきは，率の差の信頼区間です。「検定の結果を表記するよりは区間推定の結果を表記すべし」というのは，まさにそのことです。個々の推定結果（信頼区間）を表記すべしと言っているわけではないし，「差の信頼区間に0が含まれない」ということと対応するのは，「差の検定結果が有意であった」ということなのですから。

グラフに書くときも，±SEを書くのはよした方がよい。±SEが重なるか重ならないかは，差があるかどうかについて何の情報も与えない。信頼区間なら±t*SEを書かなければならないし，そのようにしても重なるか重ならないかは正確な意味を持たない。表記する側も，読む側も誤解を重ねる可能性が大きい。どこまでわかっているか保証がない。

No.09122　Re: 二つの正解率の差の検定　　【田中】　2009/02/05(Thu) 09:22

ありがとうございます。
しかし，統計学素人につき,ご指摘部分の意味を理解することができませんでしたので確認をさせていただきます.

試行Aと試行Bを一組のデータとし，それを被験者ごとに6つのデータとする.
それをウィルコクソン符号付順位和検定を行う,で大丈夫でしょうか？？

また,申し訳ありませんが,関係ないことかもしれませんが,質問させていただきます.

行った実験は同じなのですが,試行Aと試行Bの正解率の差を検定を行いたいとも思っております.

つまり,ある脳内現象の影響が,どれだけの量あったか…ということです.
正答率であるため,90％－70％＝20％というのはできないのかな？？(間隔尺度ではないから？？）と思っております.
それぞれをZスコアなどであらわさなければならないといけないのでしょうか？？

申し訳ありませんが,ご指導よろしくお願いいたします。

No.09123　Re: 二つの正解率の差の検定　　【青木繁伸】　2009/02/05(Thu) 09:47

> 正答率であるため,90％－70％＝20％というのはできないのかな？？(間隔尺度ではないから？？）と思っております.

それゆえ，ノンパラメトリック検定を行うという選択肢を挙げました。

> 試行Aと試行Bの正解率の差を検定を行いたいとも思っております

符号付順位和検定がまさにそれでしょう。
http://aoki2.si.gunma-u.ac.jp/lecture/Average/mpsr-test.html

No.09124　Re: 二つの正解率の差の検定　　【田中】　2009/02/05(Thu) 09:52

はい，わかりました。
また，わからないことが生じたときは質問させていただきます。

本当に,ありがとうございます。