No.22468 Rの'irr'パッケージ  【0669SABON】 2017/11/06(Mon) 05:40

Cohen's Kappa のsample sizeを調べています。
Rの'irr'パッケージを取り込むことができたのですが,
> # Testing H0: kappa = 0.7 vs. HA: kappa > 0.7 given that
> # kappa = 0.85 and both raters classify 50% of subjects as positive.
> N.cohen.kappa(0.5, 0.5, 0.7, 0.85)
この0.5と0.7と0.85の数字の意味が分からなく,自験例ではどの数字を入れて良いか判断できません。

初歩的な質問で申し訳ないですがご教授頂けると幸甚です。

No.22469 Re: Rの'irr'パッケージ  【青木繁伸】 2017/11/06(Mon) 08:08

オンラインヘルプは見ましたか?
Usage

N.cohen.kappa(rate1, rate2, k1, k0, alpha=0.05,
power=0.8, twosided=FALSE)
Arguments

rate1
the probability that the first rater will record a positive diagnosis

rate2
the probability that the second rater will record a positive diagnosis

k1
the true Cohen's Kappa statistic

k0
the value of kappa under the null hypothesis

No.22470 Re: Rの'irr'パッケージ  【0669SABON】 2017/11/07(Tue) 05:29

青木先生
ありがとうございます。
オンラインヘルプを確認しました。

再度,質問をさせて頂きたいのですが
rate1
the probability that the first rater will record a positive diagnosis
というのは2択であれば50%→0.5という意味でしょうか。
7択であれば14%→0.14となるのでしょうか。

また
# Testing H0: kappa = 0.7 vs. HA: kappa > 0.7 given that
# kappa = 0.85 and both raters classify 50% of subjects as positive

2行目のkappa=0.85は080以上となるように求めたいので0.80としますが,
1行目のTesting H0:kappa =0.7とありますが,この0.7は何を指しているのでしょうか。

内容を理解しておらず,質問も分かり難いかと思いますがご教授頂けると幸いです。

No.22471 Re: Rの'irr'パッケージ  【青木繁伸】 2017/11/07(Tue) 11:17

> rate1
> the probability that the first rater will record a positive diagnosis
> というのは2択であれば50%→0.5という意味でしょうか。
> 7択であれば14%→0.14となるのでしょうか。

N.cohen.kappa のオンラインヘルプの1行目に,

sample size estimator for the Cohen's Kappa statistic for a binary outcome
~~~~~~~~~~~~~~~~~~~~
とありますから前者ですね。(N2.cohen.kappa なら more than one category)

「ネ ガティブな反応」が多い状態とはどういうことか,つまりそのような状態は,評価者がやる気がない(反抗的)ということで,信頼できないデータである可能性 があるということ(逆にポジティブな反応が多すぎても,いい加減な肯定と言うことで信頼できないであろう)。50-50 というのは,ポジティブ・ネガティブの基準が平均的(中央値!)ということで客観的で妥当な評価が行われていることを意味する。

> # Testing H0: kappa = 0.7 vs. HA: kappa > 0.7 given that
> # kappa = 0.85 and both raters classify 50% of subjects as positive
> 2行目のkappa=0.85は0.80以上となるように求めたいので0.80としますが,

「0.80以上となるように求めたい」のではなく,個々で指定する値は,実際にあなたのデータで得られたκの値

> 1行目のTesting H0:kappa =0.7とありますが,この0.7は何を指しているのでしょうか。
文字通り帰無仮説のκ。これもあなたが決めるもの。
つまり,あなたは「母数がこれ以上(0.7 以上)かどうかを検定したい」というわけでしょ。「いやいや,0.6 以上あれば十分」ということなら 0.6 を指定するわけです。

「κ統計量の検定・検定力分析」ということではなく,検定,検定力分析の「一般理論」をおさらいすべきですね。基礎がわかれば,応用はおのずとわかります。基礎がわかっていないと,応用はできません。
irr パッケージのオンラインヘルプに引用されている
Cantor, A. B. (1996) Sample-size calculation for Cohen's kappa. Psychological Methods, 1, 150-153.
Flack, V.F., Afifi, A.A., Lachenbruch, P.A., & Schouten, H.J.A. (1988). Sample size determinations for the two rater kappa statistic. Psychometrika, 53, 321-325.
を読むことも必要でしょう。
> N.cohen.kappa(0.5, 0.5, 0.7, 0.85)
[1] 96
これが例題
> N.cohen.kappa(0.5, 0.5, 0.6, 0.85)
[1] 38
帰無仮説の kappa を下げる(0.6)といことは,サンプルサイズは少なくてよいということになる
> N.cohen.kappa(0.5, 0.5, 0.8, 0.85)
[1] 753
kappa を上げる(0.8)ということは,サンプルサイズはより多く必要ということになる
> N.cohen.kappa(0.5, 0.5, 0.7, 0.75)
[1] 1142
実際のデータから得られたκが小さいと(帰無仮説のκとの差が小さくなる),サンプルサイズはより多く必要となる
> N.cohen.kappa(0.2, 0.2, 0.7, 0.85)
[1] 153
> N.cohen.kappa(0.8, 0.8, 0.7, 0.85)
[1] 153
ポジティブ(ネガティブ)率が 0.5 から離れるとサンプルサイズは多く必要

オンラインヘルプには思った以上に必要(有用)な情報が書いてあります。隅から隅まで,読むと良いでしょう。
例えば,デフォルトが twosided = FALSE であるのは,うっかり見逃すことも多いのではないかな?

No.22472 Re: Rの'irr'パッケージ  【0669SABON】 2017/11/08(Wed) 06:00

青木先生

 基礎,内容も十分に理解していないまま使用方法をご質問し申し訳ございませんでした。
 先生の丁寧な解説にて使用方法は理解できましたが,やはり内容を十分に理解できていません。先生のご指摘の通り一般理論から勉強します。ご助言ありがとうございました。
 分からない場合はまたご質問させて頂きます。

No.22473 Re: Rの'irr'パッケージ  【0669SABON】 2017/11/13(Mon) 05:45

再度,検定力分析について調べ直しましたがまだ十分に理解できておりません。
またirr パッケージのオンラインヘルプに引用されている文献ですが取り寄せることができておらず,まだ読んでおりません。
このような状況で質問するのは無礼だと承知していますが,ご教授いただけると幸甚です。

irrパッケージ のN2.cohen.kappaを使用したいのですが

オンラインヘルプの
mrg a vector of marginal probabilities given by raters
ということがわかりません。
そのため
Examples
require(lpSolve)
# Testing H0: kappa = 0.4 vs. HA: kappa > 0.4 (=0.6) given that
# Marginal Probabilities by two raters are (0.2, 0.25, 0.55).

0.2と0.25と0.55の数字が何を現しているかわかりません。
勉強不足で理解が及ばないためご教授頂けると大変助かります。
何卒よろしくお願いいたします。

● 「統計学関連なんでもあり」の過去ログ--- 048 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る