「統計学関連なんでもあり」の過去ログ---015

★ Monte Carlo vs Bootstrap ★

　122　Monte Carlo vs Bootstrap　　visa　　2001/08/27 (月) 20:47
　　187　Re: Monte Carlo vs Bootstrap　　visa　　2001/09/06 (木) 16:37
　　　189　Re^2: Monte Carlo vs Bootstrap　　マンボウ　　2001/09/06 (木) 20:29
　　　　194　Re^3: Monte Carlo vs Bootstrap　　ひの　　2001/09/07 (金) 00:22
　　　188　Re^3: Monte Carlo vs Bootstrap　　visa　　2001/09/06 (木) 19:26
　　　　190　Re^4: Monte Carlo vs Bootstrap　　マンボウ　　2001/09/06 (木) 20:29
　　　　　193　Re^5: Monte Carlo vs Bootstrap　　visa　　2001/09/06 (木) 21:56
　　130　Re: Monte Carlo vs Bootstrap　　SCD　　2001/08/30 (木) 11:21
　　125　Re: Monte Carlo vs Bootstrap　　ひの　　2001/08/28 (火) 23:11

122.　Monte Carlo vs Bootstrap　　visa　　2001/08/27 (月) 20:47

Monte Carlo sampling と Bootstrap sampling の違いは何でしょうか?.sampling のところを， estimate に置き換えてもいいのですが.
どちらも確率的問題に使用し，どちらも乱数を使います.Bootstrap は，Monte Carlo の一部とみなせるのでしょうか.それとも本質的な相違があるのでしょうか.たとえば，Bootstrap は「標本データしかない」とか?.

　　　　　[このページのトップへ]

187.　Re: Monte Carlo vs Bootstrap　　visa　　2001/09/06 (木) 16:37

ひのさま，SCDさま，返事ありがとうございます.今ごろ反応です.
以下の記述aとbはMonte Carlo と Bootstrap に相当すると思います.

a:Monte Carlo
3カテゴリの比率が既知( P1=0.3, P2=0.4, P3=0.3; P1+P2+P3=1.0)の無限母集団から，サイズ100の標本抽出実験をするために，一様分布に従う区間（0,1）の擬似乱数を合同法で発生させて復元抽出し，M個（1万程度）の標本比率から，p1,p2,p3の信頼区間を構成する.

b:Bootstrap
3カテゴリの比率が未知(P1+P2+P3=1.0)の無限母集団から，サイズ100の標本抽出をしたところ，標本比率は（ p1=0.2, p2=0.6, p3=0.2）であった.実験をするために，一様分布に従う区間（0,1）の擬似乱数を合同法で発生させて，標本から復元抽出し，B個（1万程度）の標本比率から，p1,p2,p3の信頼区間を構成する.

上記のシミュレーションではaとbでやる作業はまったく同じです.一様乱数が，0～1のどの区間に落ちるか（抽出するか）という違いだけで，これは作業の本質的相違ではありません.復元抽出か非復元抽出かも，Monte Carlo と Bootstrap の相違ではありません.乱数によるシミュレーションの作業はまったく同じに思えるのです.

　　　　　[このページのトップへ]

189.　Re^2: Monte Carlo vs Bootstrap　　マンボウ　　2001/09/06 (木) 20:29

> 上記のシミュレーションではaとbでやる作業はまったく同じです.一様乱数が，0～1のどの区間に落ちるか（抽出するか）という違いだけで，これは作業の本質的相違ではありません.復元抽出か非復元抽出かも，Monte Carlo と Bootstrap の相違ではありません.乱数によるシミュレーションの作業はまったく同じに思えるのです.
===
　別の例を考えてみると違いは明らかかもしれないです。
　ある連続分布を考えましょうか。どんな分布でもいいけど，正規分布にしましょう。
　100個のデータの標本平均が170，標本分散が25である。この100個から復元抽出で100個データを抽出して中央値を求めるというのをB回行い，中央値の分布を調べる。
　母平均170，母分散25の母集団から100個のデータを発生させるというのをA回行い，中央値の分布を調べる。
　前者はブートストラップ，後者はモンテカルロ...違うかな?

　　　　　[このページのトップへ]

194.　Re^3: Monte Carlo vs Bootstrap　　ひの　　2001/09/07 (金) 00:22

> 　100個のデータの標本平均が170，標本分散が25である。この100個から復元抽出で100個データを抽出して中央値を求めるというのをB回行い，中央値の分布を調べる。
> 　母平均170，母分散25の母集団から100個のデータを発生させるというのをA回行い，中央値の分布を調べる。
> 　前者はブートストラップ，後者はモンテカルロ...違うかな?

どちらもブートストラップ法であり，またどちらもモンテカルロ法です。分類するなら，前者はノンパラメトリックブートストラップ法，後者はパラメトリックブートストラップ法です。

　ブートストラップ法とモンテカルロ法は排他的な概念ではなくて，ブートストラップ法はモンテカルロ法に包含されます。ですからブートストラップ法ならモンテカルロ法であるというのはいつでも成り立ちます。全く同じ方法を両方の名前で呼んでも矛盾はしません。ただしモンテカルロ法であってもブートストラップ法でない方法はたくさんあります（ランダマイゼイション検定など）。

　　　　　[このページのトップへ]

188.　Re^3: Monte Carlo vs Bootstrap　　visa　　2001/09/06 (木) 19:26

> 　別の例を考えてみると違いは明らかかもしれないです。
> 　ある連続分布を考えましょうか。どんな分布でもいいけど，正規分布にしましょう。
> 　100個のデータの標本平均が170，標本分散が25である。この100個から復元抽出で100個データを抽出して中央値を求めるというのをB回行い，中央値の分布を調べる。
> 　母平均170，母分散25の母集団から100個のデータを発生させるというのをA回行い，中央値の分布を調べる。
> 　前者はブートストラップ，後者はモンテカルロ...違うかな?

違いませんけど，その例示は，私の例示と同じですよ.それからこの実験にとって正規分布（母集団の分布のことですか?）を考える必要はどこにあるのでしょうか?.
標本の推定値が正規分布に漸近することを調べる実験ということでしょうか.

　　　　　[このページのトップへ]

190.　Re^4: Monte Carlo vs Bootstrap　　マンボウ　　2001/09/06 (木) 20:29

> 違いませんけど，その例示は，私の例示と同じですよ.
===
　いや，だいぶ違うのではないでしょうか?
　簡単のために，5個の標本が得られたとしておきましょう。
　155，157，164，145，173
　ブートストラップ法では，5個のデータをどのように選んでも，選ばれる数値の種類は上記5種類しかないです。
　モンテカルロ法では上記以外の無数のデータが発生します。
===
> それからこの実験にとって正規分布（母集団の分布のことですか?）を考える必要はどこにあるのでしょうか?.
===
　まさに，現実の標本値以外の実現値が現れることを示すためです。
===
> 標本の推定値が正規分布に漸近することを調べる実験ということでしょうか.
===
　そうではありません。そんなことを意図しているわけでは毛頭ありません。

　　　　　[このページのトップへ]

193.　Re^5: Monte Carlo vs Bootstrap　　visa　　2001/09/06 (木) 21:56

> 　いや，だいぶ違うのではないでしょうか?
> 　簡単のために，5個の標本が得られたとしておきましょう。
> 　155，157，164，145，173
> 　ブートストラップ法では，5個のデータをどのように選んでも，選ばれる数値の種類は上記5種類しかないです。
> 　モンテカルロ法では上記以外の無数のデータが発生します。

ある確率分布を使うモンテカルロ，手許の1つの標本だけの経験分布を使うブートストラップということが意図ですね.

　　　　　[このページのトップへ]

130.　Re: Monte Carlo vs Bootstrap　　SCD　　2001/08/30 (木) 11:21

> Monte Carlo sampling と Bootstrap sampling の違いは何でしょうか?.sampling のところを， estimate に置き換えてもいいのですが.
> どちらも確率的問題に使用し，どちらも乱数を使います.Bootstrap は，Monte Carlo の一部とみなせるのでしょうか.それとも本質的な相違があるのでしょうか.たとえば，Bootstrap は「標本データしかない」とか?.

Monte Carlo sampling とは，ある確率分布に従った乱数を発生させて，例えば帰無仮説検定に相当するp-valueを求めたり，円周率を求めて数学理論の裏付けをしたりします。確か賭博のRateを確認する方法に用いたんじゃなかったかなあ。
Monte Carlo法によく出てくるSamplingの方法として，Bootstrap法とPermutation法があります。前者は復元抽出法と言われるように一度抽出した一つの標本をその度に元に戻し，後者は元に戻さないので非復元抽出法と言われます。

　　　　　[このページのトップへ]

125.　Re: Monte Carlo vs Bootstrap　　ひの　　2001/08/28 (火) 23:11

> Monte Carlo sampling と Bootstrap sampling の違いは何でしょうか?.sampling のところを， estimate に置き換えてもいいのですが.

実際にどういう文脈で使われたのかが分からないと違いを説明することは難しいと思いますが，たとえばデータ数が100個のサンプルからbootstrap samplingをするときには元のデータと同じ100個のデータを再サンプリングしますが，Monte Carlo samplingなら10個だけサンプリングするというのもアリだと思います。

　Estimateでもよいということになると，統計学以外の求積法のような分野で使う乱数を使った数値計算も Monte Carlo estimate と呼んで差し支えないのではない化と思います。

　　　　　[このページのトップへ]