「統計学関連なんでもあり」の過去ログ---013

★ 予測成功率とは何ですか? ★

　274　予測成功率とは何ですか?　　まりん　　2001/04/25 (水) 12:44
　　291　Re: 予測成功率とは何ですか?　　sb812109　　2001/04/27 (金) 18:17
　　　292　Re^2: 予測成功率とは何ですか?　　名無しさん　　2001/04/28 (土) 00:23
　　　　294　Re^3: 予測成功率とは何ですか?　　sb812109　　2001/04/28 (土) 02:22
　　　　　295　Re^4: 予測成功率とは何ですか?　　まりん　　2001/04/28 (土) 14:43
　　　　　　296　Re^5: 予測成功率とは何ですか?　　まりん　　2001/04/28 (土) 14:59

274.　予測成功率とは何ですか?　　まりん　　2001/04/25 (水) 12:44

こんにちは，まりん(@山口大学)と申します。
先日Web上で，決定木の一種のCARTと，判別分析，ロジスティック回帰分析による与信リスク分析(優良顧客かそうでないか)の比較結果に関する論文を読んだのですが，そこで，これらの3モデルを比較するのに，「正答率」と「予測成功率」という2つの指標が使われていました。
このうち，「正答率」については，観測データと照らしてどれだけ正しい予測・判別ができているか，ということを表していて，多分，1-正答率=誤判別率と解釈はできるのですが，「予測成功率」というのがどうもよく分かりませんでした。数値的にも，0.1～0.3あたりで，特に「悪い」という評価も与えられていませんでしたし。。。
この「予測成功率」という指標は，0/1データの予測モデル評価にはよく使われるものなのでしょうか?教えてください。よろしければ，その算出方法や評価・解釈のしかたも併せて示していただけると嬉しいです。

　　　　　[このページのトップへ]

291.　Re: 予測成功率とは何ですか?　　sb812109　　2001/04/27 (金) 18:17

CART，判別分析，ロジスティック回帰分析あるいは筮竹を使った占いで
あれ，概念的には，予測と真の関係は次の2x2分割表に表現することが
可能です。
　　　　　　　真　　　　　　　優良客　　普通客合計 ---------------------------------------- 予測　優良客　 600 700 1,300 　　　普通客 500 8,900 9,400 ---------------------------------------- 1,100 9,600 10,700
正答率:=(600+8900)/10700=88.79 %

予測成功率とは，PPV(positive predictive value)のことではないでしょうか。PPVは優良客と予測された人が，真に優良客である率を表します。
PPV=600/1300=46.15 %となります。

ロジスティック回帰分析では優良客である確率が計算できますが優良客であるか普通客であるかは，あるcut-off値をどこに設定するかで違ってきます。

　　　　　[このページのトップへ]

292.　Re^2: 予測成功率とは何ですか?　　名無しさん　　2001/04/28 (土) 00:23

> 予測成功率とは，PPV(positive predictive value)のことではないでしょうか。PPVは優良客と予測された人が，真に優良客である率を表します。

茶々ですが(^_^;)
普通客を普通客であると予測する率はなんと呼びましょうか?そちらでないという保証もないかも。

どっちが「positive」かということです。
当然，普通は sb812109 さんが言うように，普通ではない人の方を positive と言います。

　　　　　[このページのトップへ]

294.　Re^3: 予測成功率とは何ですか?　　sb812109　　2001/04/28 (土) 02:22

> 茶々ですが(^_^;)
> 普通客を普通客であると予測する率はなんと呼びましょうか?そちらでないという保証もないかも。

確かにそうですね。

>> 数値的にも，0.1～0.3あたりで，特に「悪い」という評価も与えられていませんでしたし。。。

との記述が気にはなっているのですが。

　　　　　[このページのトップへ]

295.　Re^4: 予測成功率とは何ですか?　　まりん　　2001/04/28 (土) 14:43

こんにちは，オリジナル投稿者のまりんです。
私が目にした，モデルの評価をしている表はこんな感じのものでした。

表.正答率と予測成功率(カッコ内が予測成功率) モデル class1-優良 class0-普通 Total Correct ------------------------------------------- CART 0.762(0.074) 0.475(0.162) 0.672 判別 0.753(0.066) 0.542(0.230) 0.689 ロジ 0.754(0.066) 0.475(0.146) 0.662 C-判 0.862(0.174) 0.627(0.315) 0.788 C-ロ 0.790(0.102) 0.537(0.225) 0.711 注)C-判はCART&判別分析モデル，C-ロはCART&ロジスティック回帰分析モデル
この表を見る限り，PPVは「class1-優良」列の正答率になると思います。また，普通客を普通客と予測する率は，その隣りの列の正答率になりますよね。でも，各率を算出するもとになる度数に関する情報は何一つない(当然sb812109さんの示されたような分割表もない)ので，率に関する類推がどうにもできないのです。そもそも表のような評価のしかたも今まで見たことないし。。。
うーん，表を見て，何か気がつかれることはありますか?

　　　　　[このページのトップへ]

296.　Re^5: 予測成功率とは何ですか?　　まりん　　2001/04/28 (土) 14:59

(先ほどの続きです。)

ちなみに，先ほどの表から筆者は，「単独のモデルでは，CART，判別，ロジスティックで正答率はそんなに変わらないが，class0の予測成功率では判別がやや高い」，「C-判，C-ロの組み合わせモデルの方が，単独のモデルよりも正答率が高い。C-判とC-ロとでは，正答率，予測成功率ともC-判の方が高い」というような評価を与えていました。
それから，この論文の筆者に同様の質問をメールでしているんですが，まだ回答はいただいていません。(一応お伝えしておきます。)

　　　　　[このページのトップへ]