「統計学関連なんでもあり」の過去ログ---033

★ 多数の評定と対象の一致度について ★

6245.　多数の評定と対象の一致度について　RT　2005/03/16 (水) 13:24
├6250.　Re: 多数の評定と対象の一致度について　青木繁伸　2005/03/16 (水) 22:52
│└6265.　Re^2: 多数の評定と対象の一致度について　RT　2005/03/17 (木) 23:08
│　└6266.　Re^3: 多数の評定と対象の一致度について　青木繁伸　2005/03/17 (木) 23:24
│　　└6288.　Re^4: 多数の評定と対象の一致度について　RT　2005/03/18 (金) 21:24
└6246.　Re: 多数の評定と対象の一致度について　ひの　2005/03/16 (水) 15:57
　└6264.　Re^2: 多数の評定と対象の一致度について　RT　2005/03/17 (木) 22:48

6245.　多数の評定と対象の一致度について　RT　　2005/03/16 (水) 13:24

線でかこまれた図形が9つあります．
これらは，
・線で囲まれた面積はそれぞれ異なっている．
・類似してはいるが，同じ形ではない（単純に図形を1.2倍等に引き伸ばしたわけではない）
・面積の順番どおりに並べられているわけではない（提示されるわけではない）
といった特徴があります．

これに対して，30名ほどの被験者に，面積の大きい順番に並べなおしてもらいます．（提示する図形の面積はブラインドで）

このような場合，被験者が実際の面積の順番どおりに並べているか，その一致の程度を算出するためにはどの方法を用いればよいでしょうか．

あくまでも被験者の評定の一致の場合はケンドールの一致度係数を算出すればいいと思うのですが，対象と評価の一致（複数人分）の場合はどのようにしたらよろしいのでしょうか．

できればですが，ズレ具合も扱えたらと思います．
つまり，被験者が並べ替えた時に図形の並びが
1，2，3，5，4，6，7，8，9，と，
1，4，2，5，3，6，8，7，9
とではズレ具合は異なるので，単純に一致かどうかだけではなく，ズレの程度を考慮できればと思ってます．

　　　　　[このページのトップへ]

6250.　Re: 多数の評定と対象の一致度について　青木繁伸　　2005/03/16 (水) 22:52

どういうことが問題なのか，今ひとつ理解できないのですが，申し訳ない。

正解とのケンドールの順位相関係数を取ってやれば良いのでは？？？？？
R でやるなら，以下のようにもなろうか。。。。

> x <- c(1,2,3,5,4,6,7,8,9) # 評価者1
> y <- c(1,4,2,5,3,6,8,7,9) # 評価者2
> n <- 1:9 # これが，正解
> cor.test(x, n, method="kendall") # 評価者1 と正解の相関係数

Kendall's rank correlation tau

data: x and n
T = 35, p-value = 4.96e-05
alternative hypothesis: true tau is not equal to 0
sample estimates:
tau
0.9444444

> cor.test(y, n, method="kendall") # 評価者2 と正解の相関係数

Kendall's rank correlation tau

data: y and n
T = 32, p-value = 0.002425
alternative hypothesis: true tau is not equal to 0
sample estimates:
tau
0.7777778

　　　　　[このページのトップへ]

6265.　Re^2: 多数の評定と対象の一致度について　RT　　2005/03/17 (木) 23:08

お返事ありがとうございます．

30人のデータの場合，正解と評定の一致度をケンドールの順位相関係数を算出するところまではなんとなく理解できたのですが，その後は，30個のケンドールの順位相関係数の平均を取り，そして，その平均値から，全体が一致しているのかどうか見ればよいのでしょうか．

また，正解と評価者が回答した順位のデータは，
正解 1,2,3,4,5,6,7,8,9
case1 1,3,2,4,5,8,6,7,9
case2 1,2,4,3,6,5,8,7,9
.
.
のように入力することになると思うのですが，ケンドールの順位相関係数は，普通は列と列を指定するのだと認識しています．
が，このままでは，正解と各評価者の相関係数を算出することができません．行と列を入れ替えてしまってもよいのでしょうか．

　　　　　[このページのトップへ]

6266.　Re^3: 多数の評定と対象の一致度について　青木繁伸　　2005/03/17 (木) 23:24

> その後は，30個のケンドールの順位相関係数の平均を取り，そして，その平均値から，全体が一致しているのかどうか見ればよいのでしょうか．

貴方の反問が不思議です。
平均値をとっただけで全体が一致しているかどうか分かりますか？
たとえば，30個のケンドールの相関係数が 0.8 であったとして，平均的には良く一致しているということしかいえないでしょう。その中にはもっと相関の高い人も，低い人もいるでしょう。それを知りたいのでは？

とにかく30人のそれぞれが正解とどれくらい近いか遠いかを表す一つの統計量が得られるわけですから，その30個がどんな分布になるか，大小はあるけど一つのグループとしてみられるか，外れ値があるのか，いくつのグループに分かれるのか，やってみないと分からないでしょうね。
考えてみても，いい加減に評価する人，ちゃんと評価する人くらいの区別は出てくると考えられるわけでしょう？30人が全く同じということなら，なんで，そんな実験をしたのか。同じといいたかったのかとか。

> また，正解と評価者が回答した順位のデータは，
> 正解 1,2,3,4,5,6,7,8,9
> case1 1,3,2,4,5,8,6,7,9
> case2 1,2,4,3,6,5,8,7,9
> .
> .
> のように入力することになると思うのですが，ケンドールの順位相関係数は，普通は列と列を指定するのだと認識しています．
> が，このままでは，正解と各評価者の相関係数を算出することができません．行と列を入れ替えてしまってもよいのでしょうか．

入れ替えればよいですし，例に示したR スクリプトはそのようになっているでしょう。

転置すれば，行は9つの図形。列は各人の評価基準，数値は各人が図形を評価したものを順位化したものということになります。ですから通常のデータ行列に対してケンドールの相関係数行列を計算するのと同じですね。

今回の場合評価するのが人ですから，通常のデータ行列の行に相当しそうに思うのが落とし穴でしょう。

よく考えてみれば分かると思いますが。

　　　　　[このページのトップへ]

6288.　Re^4: 多数の評定と対象の一致度について　RT　　2005/03/18 (金) 21:24

お返事ありがとうございました．
私の方の返事が遅れてしまい申し訳ありませんでした．

ケンドールの順位相関係数ですが，平均値以外の指標も参考に検討していきたいと思います．
（基本的には，ほとんどの人が正解と一致しているということの確認を目的としています．）

行列の入れ替えですが，被験者は必ず行でなければいけないと思っていたために混乱していました．
理解できました．

どうにか目処がつきそうです．
ほんとうにありがとうございました．

　　　　　[このページのトップへ]

6246.　Re: 多数の評定と対象の一致度について　ひの　　2005/03/16 (水) 15:57

そのようなことで悩むくらいなら，一度に提示する図形を2つにして実験すればよいのでは。これなら当たりとはずれの2種類の結果しかないので評価方法に悩むことはないでしょう。

　　　　　[このページのトップへ]

6264.　Re^2: 多数の評定と対象の一致度について　RT　　2005/03/17 (木) 22:48

> そのようなことで悩むくらいなら，一度に提示する図形を2つにして実験すればよいのでは。これなら当たりとはずれの2種類の結果しかないので評価方法に悩むことはないでしょう。

お返事ありがとうございます．
どうしても，9つを並べる必要があるので，悩んでいました．

　　　　　[このページのトップへ]