「統計学関連なんでもあり」の過去ログ--- 041

No.06807　評価者間の一致性　　【thunder】　2008/06/14(Sat) 01:02

　初めて投稿します。

　30人のCT検査結果について，2名の評価者に[異常あり・なし]を判定させ，これを2回行って，評価者間の一致性とtest-retest reliabilityを評価する目的でCohenのkappa係数を計算しました。

　実は評価者には上述した[異常あり・なし]の他に，CTを複数の領域(肝・膵・腎など合計20領域)に分けて各領域についても[異常あり・なし]を判定させました(複数選択も可です)。

　評価者間で[CT検査に異常あり]で一致していても，[なにがし領域の異常あり]については全く一致していない場合があることが判明し，この[なにがし領域の異常あり・なし]も含めた評価者間の一致性とtest-retest reliabilityを評価したいと考えています。

　ここで質問です。
1. 各領域について，すなわち30(人)*20(領域)=600検査結果について[異常あり・なし]を判定し，kappa係数を計算することは，評価者間の一致性とtest-retest reliabilityを評価する目的に合致しているのでしょうか? ( 変数とカテゴリーを混同していて，またデータを単純に水増ししたような気がするのですが... )

2.もし，合致しないのであれば，他に適切な方法はありますでしょうか?

　長い質問で申し訳ありません。

No.06817　Re: 評価者間の一致性　　【青木繁伸】　2008/06/15(Sun) 19:16

> .各領域について，すなわち30(人)*20(領域)=600検査結果について

というのは具体的にどうやるつもりか分かりませんが，普通は，20領域ごとに30人のデータからκ統計量を求めて検定するというようなことになるでしょう。検定の多重性も考えなければいけないかも知れないが，どの項目がどのようなκ統計量になったかという記述的な分析なら，検定の多重性は気にしなくても良いのではないかな？（ただし，そのことは前もって断るとして）

No.06826　Re: 評価者間の一致性　　【thunder】　2008/06/15(Sun) 23:28

御回答ありがとうございます。大変参考になりました。
領域ごとに計算してみます。

ところで，領域ごとに求められたkappa統計量を用いて，ANOVAないしKruskal-Wallisの検定を行うことは可能なのでしょうか? ( 比尺度ないし順序尺度とみなして検定を行うことは果たして正しいのでしょうか? )

大変初歩的なことと思いますが，これについてもご教示頂けたら幸いです。

No.06827　Re: 評価者間の一致性　　【青木繁伸】　2008/06/16(Mon) 15:41

> 領域ごとに求められたkappa統計量を用いて，ANOVAないしKruskal-Wallisの検定を行うことは可能なのでしょうか?

カッパ統計量を測定値のように見なして，平均値や代表値の差の検定を行うということですか。
そういうことは，しない方がよいと思います。

No.06828　Re: 評価者間の一致性　　【thunder】　2008/06/16(Mon) 17:12

御回答ありがとうございました。大変参考になりました。