「統計学関連なんでもあり」の過去ログ--- 042

No.10759　クロンバックα，κ係数　　【コスモス】　2009/08/31(Mon) 17:01

日本語を学ぶ外国人31名を対象に，日本語の単語55語の発音してもらい，それを日本人11名にそれを聞かせ，（1）発音が正しいか，（2）アクセントが自然か不自然かを判断してもらいました。

（1）発音については，11名の日本人評価者が発音が誤りである思ったところを記入し，その誤りの数の合計により，発音の成績をつけました。11名の判断の信頼性を見るには，どの方法を用いるのがいいのでしょうか？

（2）アクセントについては，11名の日本人評価者に自然か，不自然か，どちらかひとつにチェックしてもらいました。これも，11名の判断の信頼性を見るには，どの方法を用いるのがいいのでしょうか？

クロンバックαと，κ係数という方法があることを読みましたが，これは評価者が2人であるか，3人以上であるかの違いだけなのでしょうか？　

どなたか，教えてください。
よろしくお願いします。

No.10760　Re: クロンバックα，κ係数　　【青木繁伸】　2009/08/31(Mon) 17:10

> クロンバックαと，κ係数という方法があることを読みましたが，これは評価者が2人であるか，3人以上であるかの違いだけなのでしょうか？

全然別のものです。
クロンバックのαは，尺度を構成する質問項目群の内的整合性を測るもの。
κ係数は，2人の評定者の一致率を見るもの。

あなたがやろうとしているのは，ケンドールの一致率の検定が近いと思います。（1）と（2）の違いはデータが二値であるかそうでないかだけでしょう。
ただ，対象者が31人でそれぞれ55語の単語について11人の評定者ということで，対象者と単語をどう扱っているのでしょうか？例えば，55個の単語の発音がおかしいのが同じように10個であっても，どの10個がおかしいかで評定が一致しているかどうかは違ってきますよね。

No.10768　Re: クロンバックα，κ係数　　【コスモス】　2009/09/01(Tue) 14:40

青木先生，

説明が足りなくて申し訳ありません。追加説明します。

（1）の発音の評価は，母音と子音の音韻規則を合わせて51規則あり，単語ごとにそれぞれ異なる規則を含んでいます。その規則に違反しているかどうかを，11名の評価者が判断しました。例えば規則1は，3つの単語に含まれているので，全部の単語でこの部分の発音が間違っていれば，違反数3になり，3か所全部で問題がなければ違反数は0になります。イメージとしては，以下のようになります。

　　　　
＜規則1＞　　　　評価者1　　　評価者2．．．　　　評価者11
学習者1　　　　　　　2　　　　　　1　　　　　　　　　2
学習者2　　　　　　　3　　　　　　2　　　　　　　　　2
：
：
学習者31　　　　　　 0 0 1

（2）のアクセントの評価は，単語ごとにアクセントが自然か不自然かの判断をしました。

　　　　
＜単語1＞　　　　評価者1　　　評価者2．．．評価者11
学習者1　　　　　　自然　　　　　自然　　　　　　　　不自然
学習者2　　　　　　不自然　　　　不自然　　　　　　　不自然
：
：
学習者31　　　　　　自然　　　　　自然　　　　　　　　自然

実は，評価者11の中に東京方言話者7名と，関西方言話者4名が含まれています。11名の評価結果が誤差の範囲内なのか，あるいは方言の違いにより有意差があるのか，あるいは個人により評価に違いがあり11名のうち何名かは，結果から除いた方がいいのかを知りたいのですが，どの検定方法を用いればいいでしょうか？

何卒，よろしくお願いします。

No.10772　Re: クロンバックα，κ係数　　【青木繁伸】　2009/09/01(Tue) 17:35

ケンドールの一致率で良いんじゃないでしょうか。評価者のグループによる違いについては，どうしましょうかねぇ？対応のある検定で多重比較する？

No.10785　Re: クロンバックα，κ係数　　【コスモス】　2009/09/02(Wed) 17:48

青木先生，

早速のお返事，ありがとうございます。
ケンドールの一致率を勉強して，またわからないことがあったら
質問させていただきます。