「統計学関連なんでもあり」の過去ログ---036

★ ROC解析の極端な状態について ★

8990.　ROC解析の極端な状態について　影狼　2006/01/12 (木) 23:19
└9093.　Re: ROC解析の極端な状態について　kzkishi　2006/01/17 (火) 17:14
　└9214.　Re^2: ROC解析の極端な状態について　影狼　2006/01/25 (水) 03:07
　　└9219.　Re^3: ROC解析の極端な状態について　kzkishi　2006/01/25 (水) 10:44
　　　└9222.　Re^4: ROC解析の極端な状態について　影狼　2006/01/25 (水) 21:18

8990.　ROC解析の極端な状態について　影狼　　2006/01/12 (木) 23:19

ROC解析について質問させてください。
非常に基本的なことだとは思いますが，極端な状態に関してお尋ねしたいと思います。
ROC解析では通常，正の対角線より下に曲線が位置しない(Az=0.5)を下回ることはないと聞いたことがあります。
これは，信号と雑音が全く区別できないとき，提示された試料に対する回答が全てどちらでもない，を選択した場合に発生するのだろうと思いますが，全問正解，または全問不正解となった場合はROC曲線はどうなるのでしょうか？

以下のような考えて合っているのかをご教授頂ければ幸いです。
全問正解の場合は常にTPF=1という状態であるのでROC曲線はTPFが1.0のところで横軸に平行な直線(Az=1となる状態)となる。
逆に，全問不正解の場合は，常にFPF=1の状態であるからFPF=1.0のところで縦軸に平行な直線となり，Az=0となる。
つまり，度外れて判断結果が間違っていた場合，ROC曲線は正の対角線を下回ることがある，ということになるのでしょうか？

　　　　　[このページのトップへ]

9093.　Re: ROC解析の極端な状態について　kzkishi　　2006/01/17 (火) 17:14

お書きのものと異なるのかも知れませんが，私の知っているROC解析では…
何かあるパラメタの値に対して，信号群と雑音群のヒストグラムを作成する。
パラメタに閾値tを設定し，両群で閾値以上（または以下）の％を求める。
閾値tを変化させていったとき，（X，Y）＝（雑音群の％，信号群の％）で2次元平面に点をプロットしていく。
それらの点をつないだ曲線がROC曲線。
というやり方だったと思います。
模式的にヒストグラムを描くと（横軸がパラメタで，縦棒が閾値，閾値以上の％でROC曲線を描くとします）

雑音群の山＜信号群の山
----------|----------->
（雑音群の山と信号群の山に重なりなし）というときROC曲線は原点からY軸に沿って上に行き，1.0の所でX軸と平行になる。

雑音群の山＝信号群の山
----------|----------->
というときROC曲線は対角線。

信号群の山＜雑音群の山
----------|----------->
（信号群の山と雑音群の山に重なりなし）というときROC曲線は原点からX軸に沿って右に行き，1.0の所でY軸と平行になる。

　　　　　[このページのトップへ]

9214.　Re^2: ROC解析の極端な状態について　影狼　　2006/01/25 (水) 03:07

kzkishi さま。
非常にわかりやすいご回答ありがとうございます。
医学判断学での病変検出能を想定していたため，
真陽性率(TPF)・偽陽性率(FPF)・真陰性率(TNF)・偽陰性率(FNF)
のみを考えておりました。

ひとつ質問なのですが，「信号群の山＜雑音群の山」というのは，
確率密度関数の分布を考えた場合，ROC曲線下の面積が0となるのは
本来信号と判定されるべき分布と雑音と判定されるべき分布が逆転した
状態を指すのでしょうか？

　　　　　[このページのトップへ]

9219.　Re^3: ROC解析の極端な状態について　kzkishi　　2006/01/25 (水) 10:44

>真陽性率(TPF)・偽陽性率(FPF)・真陰性率(TNF)・偽陰性率(FNF)のみを考えておりました。

何を判断の指標として用いても，その指標の閾値を変化させるとこれら4個の％は変化しますね。
ROCで見ているのは，その指標が，閾値をちょっと変化させただけで真陽性率や真陰性率が激減してしまうのか，多少の閾値変化があっても真陽性率・真陰性率を保持できるのか，だと思います。

>ROC曲線下の面積が0となるのは本来信号と判定されるべき分布と雑音と判定されるべき分布が逆転した状態を指すのでしょうか？

そうですね。
ROC曲線下の面積（AUCとか言いますね）が1/2を下回ったら，そうですね。
単純かつ極端な例で言えば，血中のある値が高いと癌だ，と考えていたけれど，測定してみたら，その値が低いと癌だ，と言う方が正しかった，みたいな場合でしょうか。
まあ現実世界でそうそうお目にかかる状況ではないだろうとは思いますが…（そうでもないのかなぁ…？）。

　　　　　[このページのトップへ]

9222.　Re^4: ROC解析の極端な状態について　影狼　　2006/01/25 (水) 21:18

kzkishi さま

ご回答ありがとうございました。
とても参考になりました。

> まあ現実世界でそうそうお目にかかる状況ではないだろうとは思いますが…（そうでもないのかなぁ…？）。

普通にやっていては出現しないような状態ですよね。
故意に誤判定をしない場合そんなことにならないだろうと考えていましたが，仮説が完全に間違っている場合もなるますね。
とても参考になりました。重ねて御礼申し上げます。

　　　　　[このページのトップへ]