「統計学関連なんでもあり」の過去ログ--- 042

No.08249　同一サンプルに対して異なる測定方法を行った場合　　【やまだ】　2008/11/14(Fri) 17:28

タイトルにある解析方法に行き詰まり質問させていただきました。

現在，同一サンプル対象に対し，AとBという2種類の計測方法を同時に行って得られたデータがあります（1回目，2回目ではなく，同時なので正しい答えは1つです）。
このうち，Aは正しい結果だとわかっています。
知りたいのは，「Bの方法の正当性」です。
Aの方法は高価なのに対し，Bの方法は安価なため，Bの方法によって取られたデータがたくさんあり，その評価を行いたいためです。
(例：このデータは信用できる，利用に注意が必要，利用価値なし　など)。
データの種類は，応答がある・ないというような「1，0」のデータです。

方法A: 111100010
方法B: 111000010

結果は，300回計測したうち，AとBが異なるのは70回ありました。単純計算すると，4回に1回は間違うということですが，Bの方法の妥当性を客観的に示すために検定かモデル選択をできないかと悩んでいます。

調べてみると，対応のあるT検定がいいのかとも思いましたが，これは，AとBの平均値の差をみる検定ですので，この場合のようにBの正当性を見るのには使えないのではと思っています。

正確確率検定などの変数間の関連を見るものでは，

・A全体－B全体になるのでやはり合わず，
・A1－B1, A2－B2 ・・・・略　，が知りたい関係です。

以上がこれまでに調べて考えられたことですが，何かアドバイスをいただけたら幸いです。どうぞよろしくお願いいたします。

No.08250　Re: 同一サンプルに対して異なる測定方法を行った場合　　【青木繁伸】　2008/11/14(Fri) 17:34

同等性の検定ということで，ググってみたらいかがでしょう。
どれくらいの違いがあっても同等と見なすかをまず決めてから検定を行います。

No.08253　Re: 同一サンプルに対して異なる測定方法を行った場合　　【やまだ】　2008/11/14(Fri) 18:50

回答ありがとうございます。アドバイスをいただいてから，

eq.cor(n, r) 関数を用いて，"複数個の相関係数の同等性の検定"を行ってみました。

前提
帰無仮説 H0：「母相関係数は全て等しい」
対立仮説 H1：「母相関係数は異なる」。

> n <- c(50, 100, 150, 200, 250, 307)# 標本サイズのベクトル
> r<- c(0.506671004, 0.502048215, 0.516707147, 0.525098854, 0.563303706, 0.58026582)# 標本相関係数のベクトル

関数は，http://aoki2.si.gunma-u.ac.jp/R/eq-cor.htmlを利用させてもらいました。

chi sq. d.f. P value 　　Estimated r
1.8289208 5.0000000 0.8722743 0.5468236

この結果を見ると，帰無仮説が棄却されなかったので，「同等じゃないことはない」という結論になりました。
母相関係数の点推定値は0.55でした。

これらの結果を元に言える事は，
・方法Bは方法Aよりも精度は低い
・結果はそれほど異ならない

転じて，Bの方法を使っても極端な違いはないと言えると考えても大丈夫でしょうか？
ご意見を聞かせていただけたらありがたいです。

また追加で恐れ入りますが，このような2種の方法を比較するときにわかりやすい図はどのようなものがあるでしょうか？
現在，色々な種類のグラフを作って比較しましたが，今のところ棒グラフに落ち着いてます。
しかし，まだ見ずらいので何か良い方法があれば，ご教授いただけたら幸いです。
長くなりましたが，読んでいただいてありがとうございます。
どうぞよろしくお願いいたします。

No.08254　Re: 同一サンプルに対して異なる測定方法を行った場合　　【青木繁伸】　2008/11/14(Fri) 21:17

> この結果を見ると，帰無仮説が棄却されなかったので，「同等じゃないことはない」という結論になりました。
> 母相関係数の点推定値は0.55でした。

あなたのやったことは，「何回やっても，A法とB法の相関係数は違うとは言えなかった」というだけで，A法とB法が同じであるということにはなっていませんよ。そもそも A法とB法の母相関が 0.55 ということなら，そんなに高い相関ではないという，どちらかというとネガティブな結果が出たですよ。0.55の二乗値が片方の変数がもう一方を説明する割合ですが，その値は 0.3 程に過ぎないと言うことになっています。これでは，とても A=B とはいえないでしょう。

No.08256　Re: 同一サンプルに対して異なる測定方法を行った場合　　【やまだ】　2008/11/14(Fri) 23:06

青木さま

ご返信ありがとうございます。なるほど，お書きの内容はわかりました。

「同等性の検定」で検索したところ，

1．分散共分散行列の同等性の検定　
2．複数個の相関係数の同等性の検定

を御サイトで見つけ，そのうち2．については，AとBが同じであるということは言えないとご回答をいただきました。
そして，1．では，AとBの分散の同等性の検定ですので，応答データのように1，0の場合は使えず，また過去ログにのっていた，信頼区間で差を示すなどの方法も使えないと考えています。

そこで，もう一度質問ですが，お教えいただいた同等性の検定とは上記以外にもあるのでしょうか？それとも，私が持つ1，0のデータでは，方法Bの妥当性を客観的に測ることはできないのでしょうか？

母相関が0.55でそれほど相関が高くないことから，方法Bの妥当性は高くないかもしれませんが，今後の参考にさせていただけたらと思います。また別の方法でも似た結果になるかも興味があります。

勉強不足で話しがよくのみこめずすみません。
ご教示いただけたら幸いです。