「統計学関連なんでもあり」の過去ログ--- 040

No.03058　score function について　　【梵蔵】　2007/03/25(Sun) 15:22

お世話になります。
ごく基礎的なことに関する質問なのですが，これまで素通りしていたところを，
悩み始めて分からなくなってしまいました。。。

Fisher情報量は score function の分散と定義されていますが，この score function に
ついてです。なぜ f'(x|θ)/f(x|θ) のように，f(x|θ)で正規化してあるのでしょうか？
別に正規化しなくても良いのではないか？と悩んでしまっています。

CRB(Cramer Rao Bound)をヒトに説明していて，「その自然対数の意味は？」と聞かれ，
score function まで遡ったのですが，そもそも score function を自分が完全に理解
できてなかったという状況です。そういう定義だ！と言われればそれまでですが，なぜ，
そのような定義にしたのでしょうか？何冊か本を調べたり，Webを見てみましたが，
そこの部分の説明を見つけられませんでした。

参考となる文献の紹介でも良いのですが，どなたかなにかヒントを与えていただけると
幸甚に存じます。よろしくお願いいたします。

No.03064　Re: score function について　　【竹澤】　2007/03/26(Mon) 08:57

>Fisher情報量は score function の分散と定義されていますが，この score function に
>ついてです。なぜ f'(x|θ)/f(x|θ) のように，f(x|θ)で正規化してあるのでしょうか？

　スコア関数は尤度関数を微分したものではなく，対数尤度関数を微分したものだから，
ということで説明になっていますでしょうか？
　以下のWWWページが参考になると思います。

http://en.wikipedia.org/wiki/Score_%28statistics%29

No.03065　Re: score function について　　【梵蔵】　2007/03/26(Mon) 19:47

お返事ありがとうございます。ご回答により，少し質問がずれていたことが分かり
ました。質問すべきは「対数尤度関数」で「対数」をとることに，何か本質的な意味
があるかということのようです。

初歩的な説明では，対数を取る理由としては，
『確率密度関数（尤度関数）はガウス分布のような形をとることが多いが，このような
　場合，対数をとると後の計算が便利だから』
と説明されるように思います。

しかし，『対数尤度関数』の微分がスコア関数→スコア関数の分散がFisher情報量→
Fisher情報量の逆数が CRB 。。。という関係を見ると，対数をとることは，単に便利
であるという以上の意味を持つように思うのですが。。。

それとも，本当に単に便利だから使っていたのだが，実はCRBと密接な関係があった！
という順番なのでしょうか。。。？

No.03068　Re: score function について　　【竹澤】　2007/03/27(Tue) 09:04

　尤度関数の代わりに対数尤度関数を使うことが多いのは，
単に計算が便利だから，ということで間違いありません。
対数尤度関数を使っていたら，フィッシャー情報量やCRBに関する
きれいな定理やAICなどが得られたので，対数尤度関数を
使っていてよかった，ということです。

No.03069　Re: score function について　　【梵蔵】　2007/03/27(Tue) 11:20

どうもありがとうございます。やはりそうなのですか。。。

結局，CRBについては，『式展開上，対数が出てきました。』と説明することに
いたしました。それでも理論上は問題ないので。でも，「その自然対数の意味は？」
という質問に対する答えとしては，いまひとつという感じかも。。。

「対数」って意味ありげなんですが。。『エントロピー』とかが頭をよぎりますが。。。

No.03071　Re: score function について　　【ファン】　2007/03/27(Tue) 17:40

Fisher情報量-CRBにおける「スコア関数」 (log f)' = f'(x,θ)/f(x,θ) は，確率関数 f(x,θ) が母数 θ によって変化する部分を取り出したものですが，コアな変動数量であるためには，母数 θ に依存しない部分（ノイズ）が取り去られている必要があるわけです。一方，同種の話に「十分統計量」があるので，明示的には十分統計量を使って説明するのがわかりやすいのではないでしょうか。（聞いている方は余計にわからなくなる可能性も高いですが…）

つまり，T を θ の十分統計量とすると
　　f(x,θ) = g(T,θ)・h(x|T)
であり，h(x) が（θ情報にとっての）ノイズ。θで微分すると
　　f'(x,θ) = g'(T,θ)・h(x|T)
となって，f' には不要なノイズ成分 h が含まれている。そこで両辺を f で割ると
　　f'(x,θ)/f(x,θ) = g'(T,θ)/g(T,θ)
となってノイズ部分が消えて，θ に関する純粋な確率変化量になる。

あと尤度全般についての基本的な数学的関係については，
http://www.eb.waseda.ac.jp/murata/~mura/lecture/notes/stat.pdf
の p21-29 が，易しくていねいに書かれていますね。

No.03086　Re: score function について　　【梵蔵】　2007/03/29(Thu) 00:19

十分統計量を使ったご説明でかなりすっきりいたしました。ありがとうございます。
確認のため，なんとなく自分の慣れている形に書き直してみました。。。
　f(x|θ)=g(T|θ)・h(x)
これをθで微分すると
　f'(x|θ)=g'(T|θ)・h(x)
よって
　f'(x|θ)/f(x|θ)=g'(T|θ)/g(T|θ)
。。。なるほど。なるほど。かなりナットクです。ありがとうございました！