「統計学関連なんでもあり」の過去ログ--- 042

No.10855　評価者一致率　　【すみれ】　2009/09/11(Fri) 20:44

評価者5名が被験者10人の行動を観察し，AかBかの2項のいずれかを評価する実験を行いました。5名の評価者は，最初にトレーニングを受けた3人と，トレーニングを受けなかった2人で，2つのグループに分けられます。このグループ間で，評価に差があるのかどうかを見たい場合，どのような方法を用いればいいのでしょうか。

評価者1と評価者2，評価者1と評価者3のように，2人ずつのペアについてカッパ係数を求めてみましたが（合計10通り），この方法でいいのか教えていただけますか。
よろしくお願いします。

No.10860　Re: 評価者一致率　　【波音】　2009/09/12(Sat) 23:03

こういうデータ：

Observer1 = {A, A, B, A, B, B, A, B, B, B} # 10人の行動の判定データ
・・・
Observer5 = {A, A, A, B, A, A, B, A, A, A}

まとめると：
A  B  total   group
4  6     10   G1
2  8     10   G1
5  5     10   G1
9  1     10   G2
8  2     10   G2
つまり，これは「グループによってAと判定した数の比率が異なるか」という問題について考えることになるでしょう。したがって，比率データを応答変数，説明変数がカテゴリカル型である比率ロジットモデルの解析となります。

Rだと：
> my.data
  A B Total S
1 4 6    10 1
2 2 8    10 1
3 5 5    10 1
4 9 1    10 2
5 8 2    10 2

> model <- glm(cbind(A, B) ~ S, binomial)
> summary(model)
Coefficients:
            Estimate Std. Error z value Pr(>|z|)   
(Intercept)  -0.5465     0.3789  -1.443  0.14914   
S2            2.2811     0.7319   3.117  0.00183 **
---
Residual deviance:  2.4969  on 3  degrees of freedom

> tapply(predict(model, type="response"), S, mean)
        1         2 
0.3666667 0.8500000
結果だけいえば，Aを選択した比率の平均(の予測値)が0.366で，Bを選択した比率の平均が0.85ということになります。つまり，Aの比率とBの比率は異なるといえます。

>　グループ間で，評価に差があるのかどうか

ということについて，一致率（κ係数やケンドールの一致係数）を求めても問題の解決にはならないでしょう。ちなみに，一致率について調べていたら参考になりそうなものを見つけました：

　http://www.jstage.jst.go.jp/article/rika/17/3/17_181/_article/-char/ja

No.10867　Re: 評価者一致率　　【すみれ】　2009/09/13(Sun) 20:21

詳しく説明していただき，ありがとうございます。
統計学の素人なのもので，比率ロジットモデルは初めて知りました。
比率ロジットモデルについて，勉強してみます。

Rも使えないのですが，SPSSで解析できますか？

No.10868　Re: 評価者一致率　　【青木繁伸】　2009/09/13(Sun) 20:58

R は簡単に使えますし（無料ですし），SPSS に将来はないとか言う人もいるので(^_^;)，この際，思い切って R の使用に踏み切ったらいかがですか。
R の使用については幾つも Web ページがありますよ。

No.10874　Re: 評価者一致率　　【波音】　2009/09/13(Sun) 22:34

>　比率ロジットモデルについて，勉強してみます。

補足させていただきますと，比率ロジットモデルという名称は一般的ではないかもしれません。ロジスティック回帰分析モデルは，応答変数のデータがどのようなデータであるかによって，若干，内容が違ってきます。

・応答変数が比率データ：　比率ロジットモデル
・応答変数が2値データ：　2値ロジットモデル
・応答変数が名義データ：　名義ロジットモデル
・応答変数が順序データ：　順序ロジットモデル

と，このように応答変数によって名称をまとめておくと分かりやすいだろうと（私は）思うわけです。比率ロジットモデルというのは，ロジスティック回帰分析の歴史の中でも最も古典的な「致死量の算出」に応用されているモデルです。

また，2値データというのは，換言すると「名義データの水準が2つである場合」といえます。ここでいう名義データというのは3つ以上の水準をもつカテゴリカル型データのことを指しています。

No.10876　Re: 評価者一致率　　【すみれ】　2009/09/14(Mon) 15:03

青木先生，
RのWebページを見て，勉強してみます。

波音様
わかりやすい解説ありがとうございます。ロジスティック回帰分析について，勉強してみます。

本当にありがとうございます。どの方法でやればいいのかわからなくて，途方にくれていましたが，方向性を教えていただいたので，頑張ってみます。
また，わからないことがあったら教えてください。よろしくお願いします。

No.10881　Re: 評価者一致率　　【にゃんちゅう】　2009/09/15(Tue) 16:11

>つまり，これは「グループによってAと判定した数の比率が異なるか」という問題について考えることになるでしょう。

それはいえないでしょう。
aaaaabbbbb
bbbbbaaaaa

は同じ.5であってもまるっきり違う反応の仕方でしょう。

No.10883　Re: 評価者一致率　　【波音】　2009/09/15(Tue) 19:32

たしかにその通りですね。

とすると，やはり一致率のような指標を用いるのが良いようですが，そうすると今度はそれぞれの群比較をどのように行うことになるのでしょうか・・・

そもそも，これは1人の被験者（観察者）から繰り返し測定値が得られているわけですから，2値データに対応した一般線形混合モデルのように被験者ごとにモデルを当てはめる（ランダム切片モデル）ようなやり方をするべきだったのでしょうね。

No.10884　Re: 評価者一致率　　【青木繁伸】　2009/09/16(Wed) 09:36

2人ずつの評価者のすべての組合せで，有意水準をボンフェローニ法などで調整した上でκ統計量の差の検定を行う。また，評価者を2群に分けた場合には，κの線形結合をして二群の差の検定を行う。ただ，後者の場合の検定統計量の標準誤差がどうなるのかちょっとわからない。前者の場合と同じように，単純にプールするだけでよいとは思うのだけど。