No.13968　どういう検定を用いればよろしいのでしょうか　　【ぽち】　2010/12/14(Tue) 08:29

お世話になります。

シャドーイングを行った結果の発音の伸びについて，事前事後で比較をしたいと考えております。

preのテスト得点（？）を0と固定し，postで伸びがあったかどうかを3人の評価者に評価してもらいます。

主観的なoverall impression（全体的な印象）で評価してもらいます。

0：まったく伸びがなかった（悪くなったも含める）
1：少し伸びがあった
2：伸びがあった
3：かなり伸びがあった

です。つまり一人の被験者に付き3人の得点が付きます。

被験者が30人いるとして，preよりもpostが伸びがあった，ということを証明したいのですが，どのような検定が可能なのでしょうか？

ご教授のほどよろしくお願いいたします。
No.13969　Re: どういう検定を用いればよろしいのでしょうか　　【ひの】　2010/12/14(Tue) 11:10

悪くなった場合にはマイナスの値を与えるようにしないとダメでしょう。
この方法では「preよりもpostが伸びがあった，ということを証明」することはできないと思います。

あなたの書かれた評価方法を少し違う形で表現するとこういうものです。

評価が客観テストの得点で行われたとしましょう。
preでの得点が50点だったとして，
postでは客観テストの得点が50点以下のときは50点と評価し，50点を超えるときはそのままの得点で評価する。

さて，postの評価（3つ）が50点60点70点だったとき，preよりよくなったといえるでしょうか？
平均すると50点を超えているように見えますが，50点と評価した中身は実は10点かもしれないので，本当の平均点は50点に満たないのかもしれない。つまりこの方法ではよくなったのか悪くなったのか知りえないのです。
No.13970　Re: どういう検定を用いればよろしいのでしょうか　　【ぽち】　2010/12/14(Tue) 11:18

ひのさん

早速のお返事ありがとうございます。

悪くなったということを「伸びがなかった（変化無し）」と解釈して，0に含めることはまずいのでしょうか？

それから，もしアドバイス通りに，

−2
−1
0
1
2

と設けた場合，preの値は全員0なのですが，この場合でも対応のあるt検定を利用しても構わないのでしょうか？

よろしくお願いいたします。
No.13971　Re: どういう検定を用いればよろしいのでしょうか　　【ぽち】　2010/12/14(Tue) 11:34

ひのさん

入れ違いになったみたいです。申しわけありません。

ひのさんのご説明に納得いたしました。

−を設けるとして，エクセルで考えてみると，例えばA列にはpreの得点，B列には評価者1の得点，C列には評価者2の得点，D列には評価者3の得点があります。

3評価者の平均をpostの値として，A列のpreと，対応のあるt検定をすることは特に問題ないでしょうか？あるいは，他に効率的な分析方法はあるのでしょうか？

なお，評価者間の差が大きい場合は，調整は必要かと思います。

よろしくお願いいたします。
No.13975　Re: どういう検定を用いればよろしいのでしょうか　　【ひの】　2010/12/15(Wed) 03:18

>−を設けるとして，エクセルで考えてみると，例えばA列にはpreの得点，B列には評価者1の得点，C列には評価者2の得点，D列には評価者3の得点があります。

preとpostの評価方法が同じでないとまずいのでは？評価者によって異なる結果になるような評価法なのですから，preもpostも同じ評価者に評価させなければ比較はできないと思います。
No.13976　Re: どういう検定を用いればよろしいのでしょうか　　【ぽち】　2010/12/15(Wed) 08:54

ひのさん

preとpostは同じ評価方法です。とはいっても主観的な方法です。

3人の評価者にpre, post, 被験者分それぞれ採点してもらいます。
評価者間で大きく異なる場合は，採点者同士で議論をして修正してもらう予定です。

例えばinterrater reliabilityを併記して，評価者3人の平均点をpostの得点として使おうと考えています。

対応のあるt検定は可能でしょうか？

● 「統計学関連なんでもあり」の過去ログ--- 044 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る