「統計学関連なんでもあり」の過去ログ---035

7819.　クロスバリデーション推定値の信頼区間　CV　2005/10/04 (火) 18:54
└7853.　Re: クロスバリデーション推定値の信頼区間　kzkishi　2005/10/06 (木) 16:11

7819.　クロスバリデーション推定値の信頼区間　CV　　2005/10/04 (火) 18:54

leave-one-outによって，誤判別率を推定する際に，
leave-one-outの各試行を独立とみなして，
2項分布を利用した信頼区間を求めることは，
比較的よく行われていると思います。

これをleave-one-outでなく，
k-fold cross-validationとした場合の
信頼区間の求め方に，定石はあるのでしょうか。

leave-one-outのときと同様に考えると，
多項分布の各母数　←　誤判別率pを母数とする2項確率
多項分布の各観察度数　←　cross-validationで出現した，各2項確率の度数

といった感じの，1つの母数pを持つ，
多項分布に2項分布が入れ子になったようなモデルになると思いますが，
複雑すぎて，2項分布のときのようなexactな解は得られるような気がしません。
点推定値は，単純に各試行の平均をとればよさそうですが。

　　　　　[このページのトップへ]

7853.　Re: クロスバリデーション推定値の信頼区間　kzkishi　　2005/10/06 (木) 16:11

「パターン識別」（Richard O.Duda,Peter E.Hart,David G.Stork，新技術コミュニケーションズ）には。
誤識別率pの推定に関して，k-fold cross validationで，各回のテストセットがn個の点を含み，そのうちm個が誤分類されたとき，mは2項分布n_C_m*p^m*(1-p)^(n-m)に従い，よってm/nはpの最尤推定値となる。
と書いてありますね（p492-493）。

k回の試行で得られたk個の誤識別率を用いて，母比率（母誤識別率と言うのでしょうか）の信頼区間を求められたらよろしいのでは。

　　　　　[このページのトップへ]