「統計学関連なんでもあり」の過去ログ--- 044

No.14709　多項ロジスティック回帰分析におけるAIC　　【MAGI】　2011/05/29(Sun) 15:46

いつも参考にさせていただいています．
三水準（離職意向なし，転職場希望，転職希望）の従属変数に影響している独立変数を調べたく，独立変数を探索的に入れ替えながら分析をしています．
StatView5.0を使用しており，モデルの適合度の指標とされているAICの求め方について質問です．
以前，ここでご相談した際，モデルの最大対数尤度と自由度がわかれば，AICが求められるとサジェスチョンいただきました．
AIC=-2log （最大対数尤度）+2q（qは推定すべきパラメータ数）と文献にありました．
当方の，統計ソフトでは，
対数尤度という項目は，

ロジスティック回帰概要；離職3水準
例数228
欠測値5
応答水準数3
あてはめたパラメータ数8
対数尤度-158.946
対数尤度（切片を含む）-183.743
R二乗.135
と

反復履歴表；離職3水準（中略）の最後の行に，
対数尤度（反復数0）-250.484～（反復数5）-158.946
とあり，
（反復数4）の対数尤度も．-158.946で，
この反復履歴表の（反復数4）の部分の独立変数の係数と，モデルの係数表の係数が一致しています．

以上から，AIC=-2log（-250.484）+2（8）と算出してよいでしょうか．

また，独立変数を増やしていって，AICが変化した場合，AICの値は，少ない程モデルの適合度がよいと考えてよいのでしょうか．

どなたか，ご教示お願いいたします．

No.14710　Re: 多項ロジスティック回帰分析におけるAIC　　【青木繁伸】　2011/05/29(Sun) 16:45

> 以上から，AIC=-2log（-250.484）+2（8）と算出してよいでしょうか．

だめでしょう。最大対数尤度というのだから，-250.484 より -158.946 のほうが，大きいでしょう。また，対数尤度の log を取るというのも間違えている（計算しようとして負数の対数は取れないところで気づくでしょうけど）。

> AICの値は，少ない程モデルの適合度がよいと考えてよいのでしょうか

まあ，そういうことでしょう。

No.14711　Re: 多項ロジスティック回帰分析におけるAIC　　【MAGI】　2011/05/29(Sun) 19:51

いつもありがとうございます．
文献では，
AIC=-2log （最大対数尤度）+2q（qは推定すべきパラメータ数）ではなく
AIC=-2log （最大尤度）+2q（qは推定すべきパラメータ数）でした．
AIC=-2（-158.946）+2（8）
AIC=333.892でいいのでしょうか？

No.14724　Re: 多項ロジスティック回帰分析におけるAIC　　【MAGI】　2011/06/03(Fri) 21:44

何度もすみません，
いろいろしらべてみましたが，AIC=-2log （最大尤度）+2q（qは推定すべきパラメータ数）とあったり，2qが2kと記載されている文献があったり，推定すべきパラメータの部分が，自由パラメータとあったり混乱しています．某講義ノートには，qについて，投入した独立変数の数+1（？）とあり，検算するとAICと合致しました．しかし，+1が NULLと標記されており，これは定数項のみのモデルといってるらしいのですが，そもそも，独立変数がないモデルという概念が理解できません．
また，ロジスティック回帰分析の計算方法に，ソフトウエアによって何何手法というに違いがあり，その手法によってAICの算出式も違うというに記述されている文献もあるようです．
qについて，投入した独立変数の数+1であり，自分の使っているStatViewでAICが算出できるならたすかるのですが．以前投稿した論文の査読で，モデルの適合度について，尤度比<.0001だけではだめで，AICを示せと言われリジェクトされました．
AIC=-2(最大対数尤度)+2（投入した独立変数数+1）でよろしいでしょうか．

No.14725　Re: 多項ロジスティック回帰分析におけるAIC　　【青木繁伸】　2011/06/03(Fri) 21:51

> 尤度比<.0001だけではだめで，AICを示せと言われリジェクトされました．

AIC が表示されるソフトを使いましょう。それにつきる。
念のため，「査読者が認める分析ソフト（SAS?SPSS?）を使う」のがよいでしょう。

No.14726　Re: 多項ロジスティック回帰分析におけるAIC　　【MAGI】　2011/06/05(Sun) 08:56

ご教示ありがとうございます
御礼が遅れ失礼しました
AICが表示されるソフトを探してみます
Rにもこれを機に挑戦してみます
御礼のみ失礼いたします

No.14727　Re: 多項ロジスティック回帰分析におけるAIC　　【青木繁伸】　2011/06/05(Sun) 21:28

R でよいのならば，以下のような実行例も

> library(nnet)
> example(multinom)

multnm> options(contrasts = c("contr.treatment", "contr.poly"))

multnm> library(MASS)

multnm> example(birthwt)

brthwt> attach(birthwt)

brthwt> race <- factor(race, labels = c("white", "black", "other"))

brthwt> ptd <- factor(ptl > 0)

brthwt> ftv <- factor(ftv)

brthwt> levels(ftv)[-(1:2)] <- "2+"

brthwt> bwt <- data.frame(low = factor(low), age, lwt, race,
brthwt+     smoke = (smoke > 0), ptd, ht = (ht > 0), ui = (ui > 0), ftv)

brthwt> detach("birthwt")

brthwt> options(contrasts = c("contr.treatment", "contr.poly"))

brthwt> glm(low ~ ., binomial, bwt)

Call:  glm(formula = low ~ ., family = binomial, data = bwt)

Coefficients:
(Intercept)          age          lwt    raceblack    raceother  
    0.82302     -0.03723     -0.01565      1.19241      0.74068  
  smokeTRUE      ptdTRUE       htTRUE       uiTRUE         ftv1  
    0.75553      1.34376      1.91317      0.68020     -0.43638  
      ftv2+  
    0.17901  

Degrees of Freedom: 188 Total (i.e. Null);  178 Residual
Null Deviance:	    234.7 
Residual Deviance: 195.5 	AIC: 217.5 

multnm> (bwt.mu <- multinom(low ~ ., bwt))
# weights:  12 (11 variable)
initial  value 131.004817 
iter  10 value 98.029803
final  value 97.737759 
converged
Call:
multinom(formula = low ~ ., data = bwt)

Coefficients:
(Intercept)         age         lwt   raceblack   raceother   smokeTRUE 
 0.82320102 -0.03723828 -0.01565359  1.19240391  0.74065606  0.75550487 
    ptdTRUE      htTRUE      uiTRUE        ftv1       ftv2+ 
 1.34375901  1.91320116  0.68020207 -0.43638470  0.17900392 

Residual Deviance: 195.4755 
AIC: 217.4755 

multnm> ## Not run: 
multnm> ##D Call:
multnm> ##D multinom(formula = low ~ ., data = bwt)
multnm> ##D 
multnm> ##D Coefficients:
multnm> ##D  (Intercept)         age         lwt raceblack raceother
multnm> ##D     0.823477 -0.03724311 -0.01565475  1.192371 0.7406606
multnm> ##D      smoke      ptd        ht        ui       ftv1     ftv2+
multnm> ##D   0.7555234 1.343648 1.913213 0.6802007 -0.4363238 0.1789888
multnm> ##D 
multnm> ##D 
multnm> ##D Residual Deviance: 195.4755
multnm> ##D AIC: 217.4755
multnm> ## End(Not run)