「統計学関連なんでもあり」の過去ログ--- 048

No.22277　AIC による，ヒストグラム（度数分布表）の最適階級分割の探索　　【明石】　2017/02/23(Thu) 11:28

青木先生，
いつもお世話になり，ありがとうございます，明石と申します。

Rプログラムについて，ご教示いただきたいことが出てきました。

何卒どうぞ，よろしくお願いいたします。

ーーー

http://aoki2.si.gunma-u.ac.jp/R/AIC-Histogram.html
AIC による，ヒストグラム（度数分布表）の最適階級分割の探索

を利用させていただいております。
大変に重宝しております。御礼を申し上げます。

情報量基準では，AIC の他に BIC があります。

基準が違うので，それぞれの基準での最適化が図られており，
その違いを確認したいと思っております。

私が扱うデータには，年齢，年収などの項目があり，外れ値がありますので，
基準の違いによる最適化の違いに強い興味があります。

しかしながら，AIC，BIC の公式を本で見たことはありますが，
Rでプログラムを書けるまでの知識はありません。

誠に厚かましいお願いでございますが，

AIC による，ヒストグラム（度数分布表）の最適階級分割の探索
⇒
BIC による，ヒストグラム（度数分布表）の最適階級分割の探索
のRプログラムをご教示いただければ，大変に助かります。

どうぞよろしくお願いいたします。
失礼いたします。

No.22278　Re: AIC による，ヒストグラム（度数分布表）の最適階級分割の探索　　【青木繁伸】　2017/02/23(Thu) 18:01

R の関数 AIC のオンラインヘルプには，
Generic function calculating Akaike's ‘An Information Criterion’ for one or several fitted model objects for which a log-likelihood value can be obtained, according to the formula -2*log-likelihood + k*npar, where npar represents the number of parameters in the fitted model, and k = 2 for the usual AIC, or k = log(n) (n being the number of observations) for the so-called BIC or SBC (Schwarz's Bayesian criterion).
と書いてある。
要するに -2*log-likelihood + k*npar において，AIC では k = 2，BIC では log(サンプルサイズ）
なので，AIC.Histogram の
AIC <- -2*(logNZ(sum1, c1*N)+temp+logNZ(sum2, c2*N))+2*cc1c2r1
を
AIC <- -2*(logNZ(sum1, c1*N)+temp+logNZ(sum2, c2*N))+log(N)*cc1c2r1
として，AIC という文字列を BIC に全置換すればよいと思われ...

No.22279　【御礼】BIC による，ヒストグラム（度数分布表）の最適階級分割の探索　　【明石】　2017/02/23(Thu) 21:13

青木先生，
いつもお世話になり，ありがとうございます，明石と申します。

ご教示をいただきまして，誠にありがとうございます。

AIC，BICでは，基準が違うので，
それぞれの基準での最適化が図られており，
その違いを確認したいと思っております。

ありがとうございました。
心から御礼を申し上げます。

No.22280　Re: AIC による，ヒストグラム（度数分布表）の最適階級分割の探索　　【青木繁伸】　2017/02/23(Thu) 22:35

log(N) は定数なので，この場合は AIC と BIC は（サンプルサイズ N) が同じなので，平行移動なだけでは？つまり，モデル選択に差はない（？？ちょっとおかしいか？？）

No.22281　Re: AIC による，ヒストグラム（度数分布表）の最適階級分割の探索　　【明石】　2017/02/24(Fri) 10:32

青木先生，
いつもお世話になり，ありがとうございます，明石と申します。

最初は，AIC , BIC では結果が異なるだろうと思っていました。

手持ちのデータ（約5000件，外れ値を含む）で，色々とやってみましたが，
ヒストグラムの bin の数，bin の区間幅も，一致しました。

カンニングをした後付けですが，
この題材では，青木先生がお書きになられた通りの理解です。

良い勉強をさせていただきました。
改めて御礼を申し上げます。