「統計学関連なんでもあり」の過去ログ--- 041

No.06755　検者間一致率について　　【T2】　2008/06/11(Wed) 14:52

初めて投稿します。

自作のアンケート票(53項目の4件法)の信頼性を求めたいと思い，特定の被検者2名を検査者7名で評価いたしました(以下のようなデータが53項目あります)。

検者　　A B C D E F G
被検者Y 2 3 3 3 3 3 3
被検者Z 1 3 3 3 3 2 3

上記データをHPなどを参考にRのconcord ライブラリにあるcohen.kappaを使って解析したのですが，-0.13と低い値しか出てきません。全てこのような感じなのですが，他に解析の方法はないでしょうか?
過去のログ(5359～のツリー)にケンドールの一致度係数というものもあるようですが，この手法は如何でしょうか?

どうぞよろしくお願いします．

No.06757　Re: 検者間一致率について　　【青木繁伸】　2008/06/11(Wed) 15:09

53項目の4件法のアンケート票を使って，「特定の被検者2名を検査者7名で評価」とはどういう風にするんですか？
2とか3とかは，検査者が付ける評点なんですか？だったら，被検者のアンケートへの回答はどうなっているのでしょう。
例に出された
検者　　A B C D E F G
被検者Y 2 3 3 3 3 3 3
被検者Z 1 3 3 3 3 2 3
を，cohen.kappa でどうやって分析したのでしょうか。
そもそも，なぜ被検者が2人だけなのでしょうか。検者が7名と被検者より多いというのもよくわからない状況設定ですね。

No.06768　Re: 検者間一致率について　　【T2】　2008/06/11(Wed) 21:54

青木先生

早速のご回答有り難うございます。不十分な説明申し訳ありません。
このような研究を行ったことがなく，的外れのことをしているのかも知れません。
まずは，その点をおわびした上で，調査の内容について補足説明させて頂きます。

この調査票は，被検者の行動特性を，普段接している指導者(検者)がチェックしていく形のものです。ですので被検者=観察対象者という形です。
被検者は，特定の診断がついているか，その可能性が高い対象者です。現在，そのような被検者2名にしか同意が得られなかったので，被検者が2名と少なくなりました。検者は，その被験者の指導に当たっているものですので，人数が多くなりました。
調査項目53項目は，「○○という特徴的な行動」が観察されたか否かを4件法でたずねています。この調査票をチェックすることによって，その障害で特徴的にみられる行動がチェックできるか否かを知りたいと思っています。

cohen.kappaの使用に当たっては，対馬栄輝著『SPSSで学ぶ医療系データ解析』とHP(http://www.hs.hirosaki-u.ac.jp/~pteiki/research/stat/S/kappa/)をみて，お示ししたデータをRにコピー&ペーストしました。
対馬先生のHPには，"Kappa係数の算出（評定者または繰り返し測定数が3以上の場合）"とあったので，評定者の人数が3以上と思って，この検定を実施しました。的外れなことをやっているのかも知れません。

先生のご回答で，検者と被検者の数に問題があるようなことは，推察できました。
どのくらいの被検者がいると，このような検定は可能なのでしょうか?
初歩的な質問で申し訳ありません。どうぞよろしくお願いします。

No.06770　Re: 検者間一致率について　　【青木繁伸】　2008/06/11(Wed) 22:12

Cohen のκは0.595238 になるのかな？なんで，Siegel の方をとるか？いや，それはどれをとってもいいのだけど。Cohen のκ といっているのだから。。。
> x
              A B C D E F G
被検者Y       2 3 3 3 3 3 3
被検者Z       1 3 3 3 3 2 3
> cohen.kappa(x)
Kappa test for nominally classified data
3 categories - 7 methods
kappa (Cohen) = 0.595238 , Z = 1.74564 , p = 0.0404366 
kappa (Siegel) = -0.133333 , Z = -0.311689 , p = 0.622361 
kappa (2*PA-1) = 0.190476 

No.06776　Re: 検者間一致率について　　【T2】　2008/06/11(Wed) 23:25

青木先生

CohenのkとSiegel・・・・どのような違いがあるのか不明ですね。

前述のHPに参考文献が載っていました。

> Siegel,S. and Castellan,N.J.Jr.： Nonparametric statistics for the behavioral sciences (2nd ed.)． McGraw-Hill，1988.

ちょっと当たってみます。
どうも有り難うございました。