「統計学関連なんでもあり」の過去ログ--- 042

No.10333　回帰モデルにおけるブートストラップ法　　【波音】　2009/07/10(Fri) 01:12

No. 10332の質問とは少し違う質問なので，分割して投稿します。

小西ほか「計算機統計学の方法－ブートストラップ・EMアルゴリズム・MCMC－」朝倉書店（2008）やNo. 10332のスレッドでもあげたBryan F, J. Manly「Randomization, Bootstrap and Monte Carlo Methods in Biology」Chapman and Hall/CRC(2007)を見てみると，回帰分析(Y = a + bX)にブートストラップを応用する場合には残差をリサンプリングするという方法を用いています。

Y = {y1, y2, y3, ..., yi}, X = {x1, x2, x3, ..., xj}という2変量があったとき，(yi, xi)というペアを繰り返し抽出して，それについて回帰分析を行うという方法はダメなのでしょうか？

No.10338　Re: 回帰モデルにおけるブートストラップ法　　【ひの】　2009/07/10(Fri) 18:31

　Bryan F, J. Manlyの 2nd Ed. のp167には "Bootstrapping can be done either by resampling the regression residuals or resampling the Y values and their associated X values." と書かれていますから，ダメということではないでしょう。

No.10340　Re: 回帰モデルにおけるブートストラップ法　　【波音】　2009/07/10(Fri) 19:20

ひの先生，度々の回答ありがとうございます。

なるほど，やはり(観測された)データをリサンプリングするという方法もありえるのですね。

色々と調べていたらhttp://hqlo.com/content/2/1/70の真ん中より少し上にある「Linear regression: Model (residual) and case resampling」というセクションでは，残差をリサンプリングする方法をmodel based resamplingと，観測値をリサンプリングする方法をcase based resamplingと表記しているのを見つけました。

また，今更ですがタイトルが「ブートすタラップ」になっていたので修正しておきます。

No.10343　Re: 回帰モデルにおけるブートストラップ法　　【surg】　2009/07/11(Sat) 14:57

wikipedia: ブートストラップ法

wikipediaですが英語版からの直訳のようなので，まあまあ信頼できるかと．
ここではそれぞれ「Case resampling」と「Resampling residuals」という名称で紹介されていますが，Case resamplingに対しては「したがって個々のケースを再標本化することは，ブートストラップ標本は何らかの情報を失っていることを意味する。したがって他のブートストラップ法を考慮すべきである。」と結論づけています．

ぜひ文末の参考文献にあたってみて，何かわかったら教えてください．

No.10344　Re: 回帰モデルにおけるブートストラップ法　　【波音】　2009/07/11(Sat) 18:55

回答ありがとうございます。

>　個々のケースを再標本化することは，ブートストラップ標本は何らかの情報を失っていることを意味する。

たしかに，そういわれると直感的にですがサンプリングされないデータというのもあるわけですから，情報を失っているとも考えられますね。

少しずつ参考文献を読んでいけるようにがんばります(^_^;)

というか，日経サイエンス(Scientific American)にもそういう記事が載っていたことがあるのですね。