「統計学関連なんでもあり」の過去ログ--- 044

No.14948　一致性に関して　　【とよ】　2011/07/12(Tue) 06:35

初めて投稿させて頂きます。
以前より統計に関しまして勉強させて頂いております。
今回アンケート調査を行い，その結果の一致度を見たいと考えております。
1人の対象者に対し評定者は3名で14項目について判定しています。
アンケートの内容は負担度を5段階で評価項目に対し評価しております。
以下は今回のデータの表です。

           評価者1 評価者2 評価者3
評価項目1        5       4       4
評価項目2        5       5       5
評価項目3        5       5       5
評価項目4        5       5       5
評価項目5        5       5       5
評価項目6        5       5       5
評価項目7        5       5       5
評価項目8        5       5       5
評価項目9        5       5       5
評価項目10       5       5       5
評価項目11       5       5       5
評価項目12       5       4       5
評価項目13       5       5       5
評価項目14       5       5       5

各評価に関して一致度を見るため，ケンドールの一致度係数を使用しましたが考えていたよりも低い値w＝045が出て来ました。
かなり一致しているように見えますがなぜ低いのでしょうか。
またクロンバックのα信頼性係数においても同様の結果でした。
他にも6名を対象に同じ内容で行いましたが，評定結果にばらつきが見えましたが一致度係数および信頼性係数は0.7～0.8と高い結果を示しています。
プレ測定として相関係数を求めましたが，評定者2と3では相関係数が示されますが，評定者1が入ると結果が出ない状態でした。
検定の方法の選択に問題があるのか，データ自体に不備があるのか含めてご指導いただければと思います。
よろしくお願い致します。

No.14952　Re: 一致性に関して　　【青木繁伸】　2011/07/12(Tue) 10:53

> 各評価に関して一致度を見るため，ケンドールの一致度係数を使用しましたが考えていたよりも低い値w＝045が出て来ました。
かなり一致しているように見えますがなぜ低いのでしょうか。

Kendall W は 0.5495 では? そうではあっても，元凶は評価者1ですね。すべての評価を5にしています。もし，彼（彼女）が評価項目1に他の評価者と同じ4としていれば，Kendall W = 0.8267 になります。

> またクロンバックのα信頼性係数においても同様の結果でした。

この原因も同じ。評価者1が評価項目1を4にしていれば，alpha = 0.89516 なのに，alpha = 0.59016 に落ちています。

> プレ測定として相関係数を求めましたが，評定者2と3では相関係数が示されますが，評定者1が入ると結果が出ない状態でした。

当然ですね。評価者1は全部5と評価しているので，定義上そのようになってしまいます。

3 つの疑問点すべて，自分で手計算してみるとまずいところがわかると思います。

同点評価が出るのは評価基準がまずいからでしょう。評価に違いが出るよう，明確な評価基準を設定し，評価者に周知徹底しないとこんな風になってしまいます。

No.14954　Re: 一致性に関して　　【とよ】　2011/07/12(Tue) 13:40

早速のご返事ありがとうございます。
それと表の修正も加えてありがとうございます。
続けて質問させて頂いてもよろしいでしょうか。

今回の評定結果は対象者に係る各項目に関して負担度を負担が少ないを1，負担がとても大きいを5として5段階にて評定してもらっています。
この対象者に関しては各項目の負担度が大きいと思われ，負担度が5になる項目が多くなるのは結果的に出てくると考えられます。
評定者からするととても負担の大きい対象という結果ということでは一致しますが，このような結果の場合には対処として行えるのはどのようなことができるのでしょうか。
評価者1が全てが5になるのはわかりますが，定義上そのようになるのは変化がないから比較できないということなのでしょうか。

ご返事になりましたように評価者の基準の設定は検討するようにしたいと思います。
お手数をかけますが，よろしくお願い致します。

No.14955　Re: 一致性に関して　　【青木繁伸】　2011/07/12(Tue) 14:29

「この対象者に関しては各項目の負担度が大きいと思われ」という対象者に，「負担が少ないを1，負担がとても大きいを5として5段階にて評定」するのが問題なのです。

小学生の算数の試験を大学生にやらせても意味がないでしょう。全員が同じ測定値を持つ変数は何の情報も持ちません。何の情報も持たない変数を使っても影響がないだけだろうと思うかも知れませんが，今回のような悪さ（?）をすることもあるのです。

今回のようにほとんどの人が5，まれに4と回答するような状況は好ましいものではありません。逆に言えば，このようなデータに統計解析はいらない。誰が見ても明らかに負担が大きいのですから。せめて，耐えきれないほど負担，やや大きい負担，我慢できる程度の負担というように，負担の大きい方のカテゴリーを細分化するというのも一つの解決法でしょう。

No.14956　Re: 一致性に関して　　【とよ】　2011/07/12(Tue) 15:32

ご返事ありがとうございます。
よくわかりました。
おっしゃるように解析するための評定尺度の問題を検討します。

ご指導ありがとうございました。今後ともよろしくお願い致します。