「統計学関連なんでもあり」の過去ログ---034

★ ROCで求めたカットオフ値で再分配? ★

7071.　ROCで求めたカットオフ値で再分配?　HO-HO　2005/06/30 (木) 20:04
└7072.　Re: ROCで求めたカットオフ値で再分配?　青木繁伸　2005/06/30 (木) 20:23
　└7073.　Re^2: ROCで求めたカットオフ値で再分配?　HO-HO　2005/06/30 (木) 20:46
　　└7075.　 Re^3: ROCで求めたカットオフ値で再分配?　にゃんちゅう　2005/06/30 (木) 23:03
　　　└7076.　Re: Re^3: ROCで求めたカットオフ値で再分配?　HO-HO　2005/07/01 (金) 12:14
　　　　└7105.　Re^2: Re^3: ROCで求めたカットオフ値で再分配?　kzkishi　2005/07/05 (火) 20:27
　　　　　└7106.　Re^3: Re^3: ROCで求めたカットオフ値で再分配?　kzkishi　2005/07/05 (火) 21:44
　　　　　　└7116.　Re^4: Re^3: ROCで求めたカットオフ値で再分配?　HO-HO　2005/07/06 (水) 18:32
　　　　　　　└7127.　Re^5: Re^3: ROCで求めたカットオフ値で再分配?　kzkishi　2005/07/07 (木) 11:19
　　　　　　　　└7173.　Re^6: Re^3: ROCで求めたカットオフ値で再分配?　HO-HO　2005/07/12 (火) 21:57

7071.　ROCで求めたカットオフ値で再分配?　HO-HO　　2005/06/30 (木) 20:04

初めまして。論文作成でどうしてもわからないことがあり，どなたか御教授頂けると幸いです。手術後の腫瘍の再発をエンドポイントとして，血中の新しい物質の濃度と再発の有無を47名の患者で調べました。物質の濃度は再発した17例の方が無再発だった29例よりも高値を示すことを Mann-Whitney検定で確認しました。再発と無再発を識別するカットオフ値をROC曲線を描き，感度と特異度がもっともバランスよくとれる値（対角線との交点）を選択しました。このカットオフ値を使って，ROC曲線の元データとなった同じ47名を新物質高値群と低値群に分け，それぞれの群の累積再発率や生存率をカプランメイヤー法で求めログランク検定を行ったところ，新物質高値群は有意に再発率が高い，あるいは生存率が低いという結論しました。
この方法は，統計学的に意味がないのでしょうか。というのは，査読者からROCのtraining setとtest setが存在しないので結論を導く能力がない，とコメントされたのです。新物質は再発した群で高値を示した，と言うことしかできないのでしょうか。あるいは，この研究結果を基にさらに全く別の患者群を調べて，同様の結果が出ないと再発率や生存率について述べることはできないのでしょうか。ずぶの素人の質問で申し訳ないのですがよろしくお願いいたします。

　　　　　[このページのトップへ]

7072.　Re: ROCで求めたカットオフ値で再分配?　青木繁伸　　2005/06/30 (木) 20:23

> training setとtest set

とは，何ですか。

> ずぶの素人の質問で申し訳ないのですが

そんなわけないでしょう。
もし本当にそうだとすると，困ったことですし。

　　　　　[このページのトップへ]

7073.　Re^2: ROCで求めたカットオフ値で再分配?　HO-HO　　2005/06/30 (木) 20:46

> training setとtest set
> とは，何ですか。
いや，私もそれを調べたんですが，査読者が何を意図してそう質問しているのかよくわからないんです。統計の専門の方々なら何を意味しているのかということ含めてご存じかと思いまして，質問させて頂きました。

　　　　　[このページのトップへ]

7075.　 Re^3: ROCで求めたカットオフ値で再分配?　にゃんちゅう　　2005/06/30 (木) 23:03

> > training setとtest set
> > とは，何ですか。
> いや，私もそれを調べたんですが，

普通に考えればNNでいっている概念ですよね。
http://www.faqs.org/faqs/ai-faq/neural-nets/part1/section-14.html

基本的に単にデータをいい群と悪い群にわけて有意差をとっても意味がないとコメントしているだけでは？

　　　　　[このページのトップへ]

7076.　Re: Re^3: ROCで求めたカットオフ値で再分配?　HO-HO　　2005/07/01 (金) 12:14

青木先生，にゃんちゅう様ありがとうございました。
http://www.faqs.org/faqs/ai-faq/neural-nets/part1/section-14.html
を参考に再検討してみます。ところでこのような研究の場合，たとえばカットオフよりも高値，低値群と分けた二群の生存率や期間の検討でブートストラップ法の応用は，統計学的に意味のあることなのでしょうか?また，可能なのでしょうか?もしよろしければ，御教授ください。

　　　　　[このページのトップへ]

7105.　Re^2: Re^3: ROCで求めたカットオフ値で再分配?　kzkishi　　2005/07/05 (火) 20:27

おそらく査読者の人が言いたかったのは，

カットオフ値自体が，47患者について
「再発群≒新しい物質がカットオフ値以上の群」
「無再発群≒新しい物質がカットオフ値未満の群」
となるように設定されているので，
“新しい物質がカットオフ値以上の群と未満の群で再発率を比較した”ということは，“再発群と無再発群で再発率を比較した”ということと同じ内容になっている。

ということだと思います。

従って，いま設定されたカットオフ値で全患者を二群に分けた時点で，それらの群の比較はあまり意味がないでしょうね。
二群に分けた後で，ブートストラップを用いても一緒です。

検討するとしたら，上の「」で囲んだ等号が成立し得るか否かですが，既にMann-Whitney検定してある以上，それは出来るとの結論ですね。

別のやり方としては，再発群を再発群Aと再発群Bに分け，無再発群を無再発群Aと無再発群Bに分けた後で，
A群＝再発群A＋無再発群A，から新しい物質のカットオフ値を設定し，
B群＝再発群B＋無再発群B，を新しい物質がカットオフ値以上か否かで分類して，高値群と低値群の再発率などを比較する。
というデザインにしたら，検討する意味があると思います。

　　　　　[このページのトップへ]

7106.　Re^3: Re^3: ROCで求めたカットオフ値で再分配?　kzkishi　　2005/07/05 (火) 21:44

つづき：

ただし最後に述べたデザインで検討し直す場合，Mann-Whitney検定はA群だけで行うべきでしょうね。
A群，B群混ぜた全検体でMann-Whitney検定して有意差あり，という結論を述べてしまうと，わざわざA，Bの二群に分けて交差検証してるのがズルだっていう事がバレバレですから。

本当は，47検体についてMann-Whitney検定で再発群／無再発群に有意差ありとの結論が得られた，という所で筆を置くか，
別の再発予測マーカとAUCを比較して，新しい物質の方が有意に高いと結論付けるか（足立堅一「実践統計学入門」p155参照），
あるいは検体を追加して，新しい物質のカットオフ以上未満で再発の有無が予測可能か否か検討する，
の内のどれかがやり方として正しいとは思います。

　　　　　[このページのトップへ]

7116.　Re^4: Re^3: ROCで求めたカットオフ値で再分配?　HO-HO　　2005/07/06 (水) 18:32

> 本当は，47検体についてMann-Whitney検定で再発群／無再発群に有意差ありとの結論が得られたという所で筆を置くか，別の再発予測マーカと AUCを比較して新しい物質の方が有意に高いと結論付けるか，あるいは検体を追加して，新しい物質のカットオフ以上未満で再発の有無が予測可能か否か検討するやり方として正しいとは思います。
ありがとうございました。とても参考になりました。ところで，ROCのAUCをこの47症例で，ブートストラップ法で95%信頼区間を求め，AUCが0.5よりも大きいことを検証する，ということは正しいのでしょうか。
もしよろしければ御教授ください。

　　　　　[このページのトップへ]

7127.　Re^5: Re^3: ROCで求めたカットオフ値で再分配?　kzkishi　　2005/07/07 (木) 11:19

> ところで，ROCのAUCをこの47症例で，ブートストラップ法で95%信頼区間を求め，AUCが0.5よりも大きいことを検証する，ということは正しいのでしょうか。

申し訳ありませんが，そこまで詳しくないので根拠を持って正しいか否か答えることはできません（わかりません）。

ところで，何故ブートストラップなのですか？

ROC／AUCを描く／計算するのは，根本的には再発群と無再発群で新しい物質量についてのヒストグラムを比較する，ということだと思います。
ブートストラップだと，例えば再発群の患者が一人も選ばれなかったらどうなるのでしょうか。
再発群がn人以上，無再発群がm人以上含まれるようにするとしても，ブートストラップは重複を許すので，再発群が同じ人をn回数えただけになる可能性もありますね。
その時の再発群ヒストグラムって，ただの一本の棒でしょう？
それと比較するというのは，どうかな，という気はします。

何回も試行したら，それもならされて大丈夫になる，と言われれば，そうかなとも思いますが…。

ジャックナイフなら1点除外なので大丈夫だろうと思いますが。

　　　　　[このページのトップへ]

7173.　Re^6: Re^3: ROCで求めたカットオフ値で再分配?　HO-HO　　2005/07/12 (火) 21:57

しつこい内容に対して親切な御回答ありがとうございました。
> ところで，何故ブートストラップなのですか？
それがreviewerからの要求だからです・・・。ただ，ここまでの内容は非常に参考になりましたので作戦を練り直してみます。御回答頂いた皆様に深く感謝致します。

　　　　　[このページのトップへ]