「統計学関連なんでもあり」の過去ログ--- 044

No.14982　対応のある2群間の検定方法について　　【エダム】　2011/07/19(Tue) 03:48

お世話になります。

対応のある2群の前後のテスト結果の統計方法について質問させてください。
答えが正解=1と不正解=0でのみ，前後の授業後で1の正解数が増えたかどうかを統計を使って検証したいのですが，2値のダミー変数の場合でも対応のあるt検定をつかっても良いものかわかりません。検査値のような意味がないと思われます。

どのような統計方法が考えられるか，教えていただければ幸いです。お手数をおかけ致しますが，どうぞよろしくお願いいたします。

No.14984　Re: 対応のある2群間の検定方法について　　【青木繁伸】　2011/07/19(Tue) 14:35

> 2値のダミー変数の場合でも

このような場合には，「ダミー変数」という呼称は不適切でしょう。「二値変数」でよいと思います。

> 検査値のような意味がないと思われます。

意味がないのではなく，検出力が低くなるわけです（たとえば，元の変数が正規分布で，それをそのまま使うのと，ある境界値で区切って二値データにしてしまうのを比較すると，後者は元の変数の情報を全部使っているわけではないので検出力が落ちる）。なお，二値データに対して平均値・分散を求めるのは何の問題もありません。
さて，他の検定手法ということになると，マクネマー検定があります。しかしこれは二値データに対して検定を行うよりもっともっと検出力が弱くなってしまいます。

R でシミュレーションしてみましょう。同じデータを，元のままのデータを使う t 検定，0 より大きいかどうかで二値データにして t 検定，そして，マクネマー検定。元のままのデータでは検出力の理論値が 0.8 なのに，二値データにすると 0.6，マクネマー検定では 0.5 程度になってしまいます。
> sim <- function()
+ {
+ 	x <- rnorm(34, sd=sqrt(0.5))
+ 	y <- rnorm(34, mean=0.5, sd=sqrt(0.5))
+ 	x2 <- x < 0
+ 	y2 <- y < 0
+ 	return(c(t.test=t.test(x, y, paired=TRUE)$p.value < 0.05,
+                t.test2=t.test(x2, y2, paired=TRUE)$p.value < 0.05,
+                McNemar.test=McNemar(table(x2, y2))$p.value < 0.05))
+ }
> n <- 10000
> a <- replicate(n, sim())
> rowSums(a)/n
      t.test      t.test2 McNemar.test 
      0.8045       0.6007       0.5072 検出力
> 答えが正解=1と不正解=0でのみ，前後の授業後で1の正解数が増えたかどうか

テストは質問が複数あるのでしょう?一問一問を対象にするわけではないのだから，テストの得点を対象にするので，t検定を使っても何の問題もないでしょう。

なお，T検定のようにTを大文字で書くのは間違っています（SPSS や Excel で大文字を使っているので惑わされるのでしょうけど，小文字で書くのが慣例です）。

No.14985　Re: 対応のある2群間の検定方法について　　【エダム】　2011/07/19(Tue) 16:55

青木先生

ご教授，どうもありがとうございました。大変勉強になりました。検出力がこんなに違うとは知りませんでした。

実は，25問あるので，得点化してと考えていたのですが，上司の意見は，質問毎の正解率の違いを，統計を使って検証してほしいと言われて，こちらに質問させていただいた次第です。各質問毎の上，2値データ，サンプル数も30と，統計というより，割合で%表示でも良い気がしています。統計を使う意味があまりないように感じている次第です。このような条件でも，t検定でよろしいでしょうか？この場合，各質問毎の正解率は，授業前と後で，有違差がみられた・見られなかったといっても良いものでしょうか？

お忙しい中恐縮ですが，どうぞよろしくお願いいたします。

No.14986　Re: 対応のある2群間の検定方法について　　【青木繁伸】　2011/07/19(Tue) 17:05

> 割合で%表示でも良い気がしています。

二値データ（0/1）の平均値は割合ですよ。

> 統計を使う意味があまりないように感じている次第です。

そういうものではないでしょう。どの程度になったら統計を使う意味があるのですか?

> このような条件でも，t検定でよろしいでしょうか？

No. 14984 に示したように，それでよいでしょう。

> この場合，各質問毎の正解率は，授業前と後で，有違差がみられた・見られなかったといっても良いものでしょうか？

そうでしょう?どこか問題がありますか?
ただ，25 問もあるということなら，検定の多重性が問題になるでしょうけど。

また，単純な変換ミスですが，「有意差」ですからね。

No.14987　Re: 対応のある2群間の検定方法について　　【エダム】　2011/07/19(Tue) 19:04

青木先生

お返事，どうもありがとうございました。
言葉が足りず，大変失礼いたしました。
25 問もあり，ある程度同じ項目で集約して，データを提示した方が，1問ずつ検討して分厚い報告書を書いて，書いた気になるより，大切な気がしたものですから，このように書きました。統計を使って，検証していきたいのは大前提です。どのように解析するかを，再度話し合いたいと思います。

ご教授，どうもありがとうございました。　

No.14988　Re: 対応のある2群間の検定方法について　　【エダム】　2011/07/19(Tue) 19:43

「ある程度同じ項目で集約して，」という表現が誤解を生じると思われます。知識，行動のように，それらを計る尺度としてのこの5問というように，多重性に配慮しながら5問に対して正解を1点として合計点の前後比較を統計を使って検証したいと思ったのですが，1問毎といわれ，厚いレポートを作ることにを困惑しました。

という書き方が理解していただけると良いのですが。文章力が足りず，申し訳ありません。