「統計学関連なんでもあり」の過去ログ--- 043

No.13102　ロジスティック回帰モデル全体の評価　　【taipapa】　2010/07/18(Sun) 23:38

いつもお世話になっております．
ロジスティック回帰モデル全体の評価についてご教示願います．

ある疾患の画像評価を含む様々な危険因子が治療後の合併症の有無に与える影響を調べています．具体的には，Rのglmを使用して94例の症例を対象に以下のようにロジスティック回帰を行ないました．

glm(Y ~ A+B+C+D+E+F+G+H+I+J, family=binomial)
Yは合併症の有無の2値データ，A～Jが危険因子

full modelから，stepでAICを元にmodel reductionを行ない尤度比検定を元に最終的に下記のモデルとなりました．

Y ~ A+B+C

最終モデルに残った危険因子のp値及びオッズ比とその95%信頼区間は計算しました．
さて，ここでふと疑問に思ったのは，このモデル全体の評価を行うにあたってどのようなものを報告すればよいのかということです．とりあえず，以下のようなものを考えました．

1. Nagelkerke R^2: 0.352
2. Degrees of Freedom: 93 Total, Residual Deviance: 79.29
3. AIC: 87.29
2. 最終モデルを用いたROC curveのarea under curve (AUC): 0.82
3. 最終モデルのaccuracy[(true positive+true negative)/全症例数]
0.82(95%CI 0.73-0.89)　信頼区間は二項分布で計算

（accuracyに関しては，スクリーニングの場合は有病率が問題となるのでしょうが，この場合は治療症例のみを対象としているので，accuracy paradoxは問題ではないと考えました．）

私の専門分野の論文を見てみますと，あまり詳細に上記の評価を記載せずに，危険因子のp値とオッズ比及び95%信頼区間についての記載を行っているものが多いようです．それはそれで良いのですが，本来の作法ではどれを報告すべきなのか識者の方々のご意見（これは絶対必要，これは要らんだろうなど）を伺えれば幸いです．

また，例えば，Nagelkerke R^2: 0.352というのは良い相関なのでしょうか？
AUC 0.82や，accuracy 0.82は上出来と言って良いのでしょうか？自分では臨床モデルとしてはそれなり（？）かなと思っているのですが．これらについてもご教示いただければ幸いです．

No.13128　Re: ロジスティック回帰モデル全体の評価　　【波音】　2010/07/23(Fri) 08:11

個人的には係数（パラメータの推定値），標準誤差，オッズ比と信頼区間を表にまとめておくだけでも十分と思いますが，本来であれば提示されているようなR^2や自由度・残差逸脱度を掲載するのがベターだと思われます。ただ

>　Nagelkerke R^2: 0.352というのは良い相関なのでしょうか？

ともだぶる話ですが，一般化線形モデルを用いた解析において，いわゆる決定係数が0.80などと教科書的に十分にそのモデルがデータを説明しているというケースは少ないのではないでしょうか。だから特に2項ロジスティック回帰モデルにおいてはあまり重要視されていないというか，あくまで参考の中の参考という位置づけなのでは・・・などと思うところです（断言はできません）。

また自由度と残差逸脱度についてですが，応答変数が2値データである場合にはポアソン回帰モデルなどでいう「過分散」であっても問題ないので特に載せる必要はないかと思われます（ただし比率データの場合は異なります）。

>　AUC 0.82や，accuracy 0.82は上出来と言って良いのでしょうか？

これらについては無知なのでavoidします(^_^;)

No.13141　Re: ロジスティック回帰モデル全体の評価　　【taipapa】　2010/07/24(Sat) 00:34

波音さん，アドバイス有難うございます．
大変参考になりました．論文を書くときの参考にさせていただきます．
# ちなみに，医学系の論文では，一流と言われる雑誌でも，係数や標準誤差も載せていることはほとんどなく，オッズ比と信頼区間とP値のみを表にしているものばかりのように思えます．自分の論文でも係数まで載せたことはありません <--- こんなんでよいのか...(^^;;;

あれから自分でも調べてみたのですが，要するに，Goodness of fit (適合度と訳すのでしょうか？)をどう評価するかということですよね．この掲示板の過去ログにもちゃんとありました．Hosmer-Lemeshow testが有名なようですが，欠点が多く，"disadvantages: low power, sensitive to arbitrary choices of intervals, other issues related to testing the model on the training data."だそうです．Hosmer-Le Cessie testの方が検出力が高くて，"a one d.f. omnibus test of lack of fit for a binary logistic model that will generally have more power than H-L, and it does not require one to construct intervals of predicted probabilities."とのことです．
参考：http://tolstoy.newcastle.edu.au/R/help/02b/4210.html
これは，私がよく使っているDesign packageの中に入ってました．
resid(MyModel, "gof")
Sum of squared errors     Expected value|H0                    SD                     Z                     P 
           12.6034121            12.6707961             0.3186915            -0.2114395             0.8325444 
で，P値0.83ということで適合度は一応良好と言えそうです．

ROC curveのarea under curve (AUC)に関しては，
Hosmer DW, Lemeshow S. Applied Logistic Regression. 2nd ed. New York, NY: John Wiley & Sons, Inc; 2000. の162ページに
"c values of 0.7 to 0.8 to show acceptable discrimination, values of 0.8 to 0.9 to indicate excellent　discrimination, and values of 0.9 or more to show outstanding discrimination."
とあるそうです（孫引きです）．

ということで，私のモデルのAUCは0.82なので"優秀な判別"ということになりそうです．(^^;;;