No.05948　Welch の検定、可？　　【マレーの虎】　2008/02/25(Mon) 21:45

現在，日本語学習者を対象に，日本の大学で行っている遠隔授業に，字幕をつけた際の内容理解の効果について検討しています。

A群：字幕なし
B群：字幕全文（先生が話した日本語そのまま）
C群：字幕要約（発話の要約）
D群：字幕キーワード（キーワードのみ提示）

同じ内容で，字幕の提示の仕方がことなるA群からD群の四群に，視聴後，内容理解のテスト（講義の内容にあっているものに○，違うものに×をつけなさい，という形式のテスト）を行いました。

内容理解のテストを5問用意しました。得点は最低0点から最高5点までです。

このように「字幕の提示方法によって，内容理解に差があるかどうか」（群間比較）の検討をしたいのですが，下記のようなデータを Welch の検定にかけることは，可能でしょうか？

sample data

A群（字幕なし）
被験者,得点
a1,3
a2,2
a3,1
a4,0
a5,1
...

B群（字幕全文）
被験者,得点
b1,5
b2,4
b3,3
b4,4
b5,3
...

C群（字幕要約）
被験者,得点
c1,2
c2,4
c3,3
c4,0
c5,1
...

D群（字幕キーワード）
被験者,得点
d1,1
d2,2
d3,2
d4,3
d5,1
...
No.05949　Re: Welch の検定，可？　　【青木繁伸】　2008/02/25(Mon) 22:32

あらゆる二群間の比較（対照群と処理群の比較でも）を行うつもりなら，誤りでしょう。多重比較をすべきでしょう。

（段落内でリターンキーを押さない）
無駄なスペースを消費しない。
No.05951　Re: Welch の検定，可？　　【マレーの虎】　2008/02/26(Tue) 10:13

最初に群全体として平均値の差を検定して，それから多重比較をしようと思っていました。郡全体としての平均値に差がみられた後，多重比較を行うつもりでした。上記のアドバイスは，目的があらゆる二群間の比較であるなら最初から多重比較を行えばよい，ということでしょうか。
No.05952　Re: Welch の検定，可？　　【きゅーぴー】　2008/02/26(Tue) 10:52

以下のような実験の場合はどうなるか，教えてください。香りのある環境とない環境で，ある作業を行いました。それ ぞれの環境の下で，作業の前と後で気分の尺度（間隔尺度）をとりました。対象者はすべて同じです。それぞれの環境下での作業前後の気分比較をt検定でしよ うと思っていたのですが，異なる環境での作業前どうし（初期状態に差がないことのチェック），作業後どうし（環境によって作業後の気分に変化があるかない か）を比較するうちに，多重比較した方が良いのか？と思い始めたのですが，多重比較の方がよいのでしょうか。ご指導よろしくお願いします。
No.05963　Re: Welch の検定，可？　　【青木繁伸】　2008/02/26(Tue) 21:55

どの要因の組み合わせにおいて有意なのかを知りたいのなら，多重比較すればよろしいのでは。。。過去にも，類似の質問があったと思いますが。
No.05964　Re: Welch の検定，可？　　【青木繁伸】　2008/02/26(Tue) 22:01

> 最初に群全体として平均値の差を検定して，それから多重比較をしようと思っていました。郡全体としての平均値に差がみられた後，多重比較を行うつもりでし た。上記のアドバイスは，目的があらゆる二群間の比較であるなら最初から多重比較を行えばよい，ということでしょうか。

多重比較の前検定 が必要かどうかという問題とは違う質問だと受け止めていたので，件の回答になりました。（だって，Welch の検定をやって良いかというのは，あらゆる二群の組み合わせでWelchの検定を行うということを宣言しているわけで，それぞれの検定で有意水準の調整を 行うということは言及されてもいませんでしたから，「検定の多重性に注意してね」と言ったまでです）。

多重比較の前に前検定（一元配置分散分析）が必要かどうかという問題については，二通りの立場（相反する立場）があります。どちらを薦めると一概には言えません。投稿する学会誌の先行研究を参考にどちらの立場をとるか決めるのが実際的でしょう。
No.05968　Re: Welch の検定，可？　　【知ったかぶり】　2008/02/26(Tue) 23:41

きゅーぴーさんの場合は，香りの有無によって作業後の気分が変わるか，変わらないかを知ることが目的だと思いま す．実験のデザインとしては，香りの有無と作業前後の2要因があるので，二元配置分散分析．被験者ごとにデータが有るなら，反復測定（二元配置）分散分 析．交互作用が有意なら，香りの有無が作業後の気分に影響を与えると言って良いのでは．
No.05972　Re: Welch の検定，可？　　【きゅーぴー】　2008/02/27(Wed) 09:17

ありがとうございました。被験者ごとにデータがあるので，反復測定（二元配置）分散分析と多重比較で処理してみようと思います。ただこちらも等分散でない群があるのですが，やはり問題になるのでしょうか。
No.05974　Re: Welch の検定，可？　　【知ったかぶり】　2008/02/27(Wed) 14:38

＞反復測定（二元配置）分散分析と多重比較

どちらの要因も2水準しかないのに多重比較ですか？もしかして「香りあり作業前」と「香りなし作業後」の比較といったことですか．そんな比較に意味があるとは思えませんが．

＞等分散でない群がある

被験者ごとにデータがあるのですから，対応のあるケース．対応がある場合は，等分散性の検定は使えないので，簡単に「等分散でない」などと言うことはできないはず（No. 5942に書いたように）．対応がある場合の分散の差の検定については，過去ログがありますが（http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc027/01641.html），結論はブートストラップ．でも，等分散の検定にこだわるよりも，等分散を仮定しないWelchの方法やその拡張について検討した方がよいでしょう．
No.05976　Re: Welch の検定，可？　　【きゅーぴー】　2008/02/27(Wed) 18:51

知ったかぶり様のおっしゃる通り，2水準しかないのに多重比較なんてありえないんですよね。ソフトに「できない」 とはじかれました。ご指摘ありがとうございました。分散の話は，等分散の検定が使えないという話は前に出ていましたので正確には間違った表現なのは重々承 知ですが・・・では，2元配置（反復測定）の分散を仮定しない方法はあるのでしょうか？（ブートストラップについてはちょっと勉強してみます）
No.05987　Re: Welch の検定，可？　　【わかば】　2008/02/28(Thu) 18:06

マレーの虎さんの最初の例に戻って質問していいでしょうか？
実験デザインに関することです。もし，この データで差があるという結果が出ても，もともとA群とB群のグループでは理解度というか能力というか，そういう差があったのでは？とか，どうやってカウン ターバランスがとれたって保証できるのか？などと批判されたらどうするんでしょうか？データはSampleとなっていますから本当は沢山の被験者がいるの かもしれませんが，それにしても実際に4群のカウンターバランスを取るというのはどうやるんでしょう？
No.05993　Re: Welch の検定，可？　　【知ったかぶり】　2008/02/28(Thu) 23:24

＞2元配置（反復測定）の分散を仮定しない方法はあるのでしょうか？

と思って探してみたけど見つからない（無いのかも）．分散の等質性には目をつぶって，検定してしまっても良いのでは（分散分析の頑健性を頼りに）．．．と考えたのですが，もしかしたら見るからに分散が違っていそうなデータなのかもしれませんね．

申し訳ないのですが，私にはどうしたら良いかわかりません．どなたかフォローを．
No.05996　Re: Welch の検定，可？　　【きゅーぴー】　2008/02/29(Fri) 15:25

知ったかぶり様，ありがとうございました。分散の等質性を仮定しない方法があればよいのですが，今回は分散が見る からに違うほどではないですし，残念ながら時間制限もあるので，目をつぶることにします（汗）。でもここまで追求したので，もしあるならぜひ知りたいで す。ご存じの方いらっしゃいましたら教えてください。
No.05997　Re: Welch の検定，可？　　【きゅーぴー】　2008/02/29(Fri) 15:30

＞もし，このデータで差があるという結果が出ても，もともとA群とB群のグループでは理解度というか能力というか，そういう差があったのでは？

対象者を4群に分けずに同一対象者に4つの条件でテストをするか，もしくはあらかじめ4群の内容を理解する能力に差がないことを言ったほうがいいのかも？と思いましたが，いかがでしょうか？

● 「統計学関連なんでもあり」の過去ログ--- 041 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る