「統計学関連なんでもあり」の過去ログ--- 043

No.13328　κ係数の判断について　　【おみじょ】　2010/08/27(Fri) 20:35

はじめまして。統計初心者です。

κ係数にはCohenとFleissの2種類あるということを先日初めて知りました。
そこで5人の対象者に10人の検査者で評価(2値型)を行ったときに，今まで用いてしまっていましたCohenではなく，Fleissの方法を用いました。
すると結果がCohenと大幅に異なり，Cohenで0.8～0.9のものがFleissでは0(マイナスも含む)となりました。
Cohenは2×2に対応していて，Fleissはその拡大版だということなのですが，その場合，結果の解釈はCohenの方法と同じように
κ＞0.61でSubstancial agreement，κ＞0.81でAlmost perfectとなるのでしょうか。
Wikipediaからの引用になってしまうのですが，この判断基準が一定していないということも存じています。
そのため結果の解釈に困っております。ご指導いただけましたら幸いです。
宜しくお願いします。

No.13329　Re: κ係数の判断について　　【青木繁伸】　2010/08/27(Fri) 23:40

「Cohenは2×2に対応していて」というのはちょっとおかしくて，「2人の評価者の一致性を見る」ということで，対応表はk×k（k≧2）ということでしょう。
http://aoki2.si.gunma-u.ac.jp/lecture/Kappa/kappa.html
また，Fleiss のもととなる論文は 1971 年のもののようですが，そのあと，Siegel らがさらなる吟味を加えたようで(わたしは原論文は見ていない）R のオンラインヘルプには，
Siegel, S. & Castellan, N.J.Jr. (1988) Nonparametric statistics for the behavioral sciences. Boston, MA: McGraw-Hill.
が引用されている。そして，Fleiss のκとは呼ばず，Siegel のκと呼んでいる。Wikipedia の記述では，有意性検定については「ない」としているが，R では有意性検定結果も示される。また，Cohen のκは前述のように2人の評価者についての一致性を計算するとされているが，R では複数評価者の一致性の計算もできる。つまり，Cohen と Fleiss ともう一つ（計3種のκ）が計算されている。
以下のページも参照。
http://www.hs.hirosaki-u.ac.jp/~pteiki/research/stat/S/kappa/
現在出力形式がちょっとかわって，以下のようになっている。
Kappa test for nominally classified data
3 categories - 5 methods
kappa (Cohen) = 0.615991 , Z = 7.00802 , p = 1.20848e-12 
kappa (Siegel) = 0.417892 , Z = 5.45333 , p = 2.4718e-08 
kappa (2*PA-1) = 0.24 
Wikipedia には，Fleiss のκの評価基準は，「助けになるどころか有害だ」とも書かれていますね。

No.13369　Re: κ係数の判断について　　【おみじょ】　2010/09/05(Sun) 09:21

ありがとうございます。大変参考になりました。