「統計学関連なんでもあり」の過去ログ---023

★ agreement ★

　62　agreement　　河童　　2003/01/12 (日) 15:52
　　63　Re: agreement　　青木繁伸　　2003/01/12 (日) 16:07
　　　72　Re^2: agreement　　河童　　2003/01/14 (火) 12:40
　　　　74　Re^3: agreement　　青木繁伸　　2003/01/14 (火) 12:59
　　　　　78　Re^4: agreement　　河童　　2003/01/14 (火) 13:55
　　　　73　Re^3: agreement　kappaの差の検定　　河童　　2003/01/14 (火) 12:44
　　　　　75　Re^4: agreement　kappaの差の検定　　青木繁伸　　2003/01/14 (火) 13:04
　　　　　　79　Re^5: agreement　kappaの差の検定　　河童　　2003/01/14 (火) 14:36

62.　agreement　　河童　　2003/01/12 (日) 15:52

青木先生　皆様いつもお世話になっております。

経時的に2回（たとえば15歳時と20歳時）タバコをはじめて実験的に吸った年齢についての自己報告のデータがあるとした場合，一致率はどのように計算するのがいいでしょうか?

10歳以前，11歳，，，15歳，15歳以降というカテゴリーにわけて，一致率を見るという方法でいいのでしょうか?

ブートストラップ以外にkappaのCIを計算する方法ありますでしょうか?

Rでinterrator agreementやkappaを検索しても使えそうなものがみつかりません，どのライブラリーにはいっているのでしょうか?

　　　　　[このページのトップへ]

63.　Re: agreement　　青木繁伸　　2003/01/12 (日) 16:07

両方とも間隔尺度なので，相関係数を計算すればいいのではないかと思います。
ピアソンの積率相関係数でも，スピアマンかケンドールの順位相関係数でもいいと思います。

κ統計量はあまりお勧めではないですね。

> ブートストラップ以外にkappaのCIを計算する方法ありますでしょうか?

http://aoki2.si.gunma-u.ac.jp/lecture/Kappa/kappa.html

> Rでinterrator agreementやkappaを検索しても使えそうなものがみつかりません，どのライブラリーにはいっているのでしょうか?

上のページなどを参考に自分で作ればいいですが，
http://aoki2.si.gunma-u.ac.jp/R/kappa.html
にも作ってあることはあります。

　　　　　[このページのトップへ]

72.　Re^2: agreement　　河童　　2003/01/14 (火) 12:40

>相関係数を計算すればいいのではないかと思います。

年齢がトランケートされていることと，皆が+1とか-1とか同じ方向に報告すると相関係数はあまりさがらないのが気になります。
（kappaだとさがります）

> κ統計量はあまりお勧めではないですね。

もう少し理由を聞かせていただけますか?
本来の使い方ではありませんが，それほどおかしくないような気がします。

> > ブートストラップ以外にkappaのCIを計算する方法ありますでしょうか?
> http://aoki2.si.gunma-u.ac.jp/lecture/Kappa/kappa.html

失礼しました。標準誤差が二つあるのは不思議です。

> 上のページなどを参考に自分で作ればいいですが，
> http://aoki2.si.gunma-u.ac.jp/R/kappa.html

見落としていました。失礼しました。

次にSASで計算してみたものについての質問をつづけます。

　　　　　[このページのトップへ]

74.　Re^3: agreement　　青木繁伸　　2003/01/14 (火) 12:59

トランケートされているかいないかは，データ採取状の問題（欠点）であって，統計手法によって救済されるようなものではないと思います。

Kappa だとさがる，相関係数だとあまりさがらないというのは，計算された数値の差で判断していますか。その目盛りは違うと思いますので同じ0.2 の低下でも意味が違うと思います。そもそも，低下しなければいけないのか，低下しているのか，どうやって判断できますか?κで判断したということなら，議論は堂々巡りです。

κは本来の使い方と考えていいでしょう。
しかし，年齢を再カテゴリー化してκを計算するということなら，データの情報の損失が有ると思います。また，再カテゴリー化しない場合には，カテゴリーの観察数が小さくなり，期待値の精度が低くなるのではないかという危惧があります（あくまでも，私の感覚的な危惧ですので）。

用途が違う訳ですから，標準誤差が複数あっても，何の不思議もないです。

　　　　　[このページのトップへ]

78.　Re^4: agreement　　河童　　2003/01/14 (火) 13:55

青木先生いつもありがとうございます。勉強になります。

> トランケートは，データ採取状の問題（欠点）統計手法によって救済されるようなものではない

なるほど。救済はされないかもしれませんが，トランケートされているデータの場合は相関係数を使うことに抵抗があったので，上記表現になりました。

とくに10歳代での喫煙開始に興味ある場合に10代だけのデータで相関係数を計算すると過少評価してしまうような気がしますが，いかがでしょうか?

> Kappa だとさがる，相関係数だとあまりさがらない
計算された数値の差で判断していますか。

もちろん二つの値を比べるのは何の意味もありませんが，相関係数だと直観的に不当に高く評価される可能性があるという意味です。

二つの時点での年齢の報告が(12,13)(13,14)(14,15)(15,16)・・・
といったペアの場合　相関係数は1に近くなりますが，
重み付けのないkappaでは0になります。

自己報告のデータがあるだけで，実際の喫煙開始年齢がわからないので，厳密なバリデーションはできないので，議論してもしかたないのかもしれません　

　　　　　[このページのトップへ]

73.　Re^3: agreement　kappaの差の検定　　河童　　2003/01/14 (火) 12:44

10代で習慣的に吸い始めることについての自己報告の信頼性を知りたいので，10歳から20歳の間ではじめて習慣的にタバコをはじめたと回答した者では

92年と94年の調査間で
Statistic Value ASE 95% Confidence Limits ------------------------------------------------------------ Simple Kappa 0.3042 0.0133 0.2782 0.3302 Weighted Kappa 0.5234 0.0130 0.4978 0.5489
94年と98年の調査間で
Statistic Value ASE 95% Confidence Limits ------------------------------------------------------------ Simple Kappa 0.3158 0.0133 0.2898 0.3418 Weighted Kappa 0.5347 0.0128 0.5096 0.5599
となりました。案外高くないことに驚きました。（もっと高いこと期待していましたが，「習慣的に」っていうのがあやふやですからしかたないかもしれません）
個々で質問ですが，これら二つのkappaの差を検定するにはどうすればいいでしょうか?

　　　　　[このページのトップへ]

75.　Re^4: agreement　kappaの差の検定　　青木繁伸　　2003/01/14 (火) 13:04

> ここで質問ですが，これら二つのkappaの差を検定するにはどうすればいいでしょうか?

簡便的には，二つの統計量の差の標準誤差は，個々の標準誤差の二乗の和の平方根で[近似]されますからそれを使うとか。

Z= abs(Ta-Tb)/sqrt(SEa^2+SEb^2)

　　　　　[このページのトップへ]

79.　Re^5: agreement　kappaの差の検定　　河童　　2003/01/14 (火) 14:36

ちなみにSASで相関係数(Pearson)を計算すると
10-20歳だけだと 0.68617
すべての年齢を入れると 0.73141
でした。

> 簡便的には，二つの統計量の差の標準誤差は，個々の標準誤差の二乗の和の平方根で[近似]されますからそれを使うとか。
>
> Z= abs(Ta-Tb)/sqrt(SEa^2+SEb^2)

そうでした。本当にいつも丁寧な返事ありがとうございます。
n=2000ぐらいですが，人種別や92年と94年vs94年と98年でkappaの差を検定しましたが，どれも有意な差ありませんでした（多重比較の調節せず）。

SASだと余分なoutputを消すのに手間取るので，やはりRがいいですね

青木先生本当にありがとうございました。

　　　　　[このページのトップへ]