「統計学関連なんでもあり」の過去ログ---029

★ なぜ尤度の最大値を求めることによって推定モデルは実際のモデルに一番近づけることが言えるのか ★

3326.　なぜ尤度の最大値を求めることによって推定モデルは実際のモデルに一番近づけることが言えるのか　佐々木　2004/05/31 (月) 23:35
└3327.　Re: なぜ尤度の最大値を求めることに　たいち　2004/06/01 (火) 07:27
　└3328.　なぜ尤度の最大値を求めることによって推定モデルは実際のモデルに一番近づけることが言えるのか　佐々木　2004/06/01 (火) 17:36
　　└3331.　Re: なぜ尤度の最大値を　たいち　2004/06/02 (水) 08:27
　　　└3333.　ありがとうございました！　佐々木　2004/06/02 (水) 12:31

3326.　なぜ尤度の最大値を求めることによって推定モデルは実際のモデルに一番近づけることが言えるのか　佐々木　　2004/05/31 (月) 23:35

はじめまして，Googleでこの掲示板にたどり着きました．
今likelihood functionを勉強しています．私は理解している尤度とは，以下のようなものです．ある観測データXはn個ありました．
仮にこのn個のデータはあるparameter d に依存する関数F(X,d)とします．関数F(X,d)は本当に観測データのモデルとなっているかどうかをチェックするために，尤度L(d)を用いて評価します．尤度関数L(d)の最大値となるDを求めることができれば，F(X,D)は観測データXのモデルに一番似ています．L(d)の最大値Dを求めるのに利用するのはEMというアルゴリズムとわかりましたが，問題となっているのはなぜ，尤度関数の最大値となるときに，仮定したモデルF(X,D)は一番観測データに似ているかということです．
ちなみに私は以下のホームページに参考していました．
http://aoki2.si.gunma-u.ac.jp/lecture/Suitei/saiyuuhou.html
http://gp1.med.gunma-u.ac.jp/users/tgaku/trivia/jLikelihood.htm
http://gp1.med.gunma-u.ac.jp/users/tgaku/trivia/jEmalgo.htm

　　　　　[このページのトップへ]

3327.　Re: なぜ尤度の最大値を求めることに　たいち　　2004/06/01 (火) 07:27

最尤法は，統計モデルの特定化が適当であるといった仮定の下で，一致性(nが十分大きいときに，推定で得られるパラメータが真の値と一致する)，漸近有効性（nが十分大きいときに，得られるパラメータの推定値の分散が最も小さくなる）などの，望ましい性質を持ちます。このあたりの話は，竹村彰通著「現代数理統計学」創文社，E.L.Lehmann 「Theory of Point Estimation」などに詳しいです。統計学の基本的な話題だと思いますが，理解するためには確率論の知識が必要になると思います。モデルが，「似ている」と考えるよりも，最尤法による推定が，いくつかの望ましい性質を満たすと考えるのが適切だと思います。そもそも，何を以って「似ている」といっているのかわからないですし。

　　　　　[このページのトップへ]

3328.　なぜ尤度の最大値を求めることによって推定モデルは実際のモデルに一番近づけることが言えるのか　佐々木　　2004/06/01 (火) 17:36

お返事を頂き，本当にありがとうございました．もう少し詳しくお聞きしたいです．
＞一致性(nが十分大きいときに，推定で得られるパラメータが真の値と一致する)，漸近有効性（nが十分大きいときに，得られるパラメータの推定値の分散が最も小さくなる）などの，望ましい性質を持ちます
つまり，確率論の世界には，実際のパラメータと我々仮定したパラメーdの間に誤差があります．沢山の観測データを処理することによって，最終的に実際のパラメータに収束するということでしょうか．もしそれが正しいのであれば，どうやって証明することができるでしょうか．もちろん本を読まないと完全に理解できないと思いますが．

　　　　　[このページのトップへ]

3331.　Re: なぜ尤度の最大値を　たいち　　2004/06/02 (水) 08:27

>沢山の観測データを処理することによって，最終的に実際のパラメータに収束するということでしょうか．

そうです。確率収束，あるいは概収束とか。証明は，一致性のほうは大数の法則を用います。大数の法則は，サンプル数が多くなると，標本平均は母集団の平均に収束するというものです。「推定された標本平均-->母集団の真の平均」という事実をうまく使って，「推定されたパラメータ-->真のパラメータ」を示します。詳しい証明は，ちょっとここではとても，，，結構難しいです。
漸近有効性は，一致性を示した上で，漸近正規性を示して（＝中心極限定理を用いる），実際にnが十分大きいときの分散を計算してみれば，それがクラメル・ラオの下限と一致することがわかります。このことを以って，漸近有効であるといいます。

　　　　　[このページのトップへ]

3333.　ありがとうございました！　佐々木　　2004/06/02 (水) 12:31

すばやくお返事を頂き，本当に助かりました．これから本を読んでみようと思います．

　　　　　[このページのトップへ]