「統計学関連なんでもあり」の過去ログ--- 040

No.02940　Jensen-Shannon divergence　　【satoh】　2007/03/07(Wed) 03:17

はじめまして。もしかしたら，初歩的な質問かもしれませんが教えてください。
Jensen-Shannon divergenceでよく，K-L divergenceに「確率0への耐性」を持たせたものと説明してあるのですが，どのような意味なのでしょうか？
JS(p,q)=1/2*KL(p, avrg(p,q)) + 1/2*KL(q, avrg(p,q))
のとき，p=0なら，結局のところ，JS(p,q)=∞となってしまうと思うのですが。
どうぞよろしくお願いします。

※ JS: Jensen-Shannon divergence
　 KL: K-L divergence
　 avrg(p,q): pとqの平均値

No.02942　Re: Jensen-Shannon divergence　　【kzkishi】　2007/03/07(Wed) 12:02

>p=0なら，結局のところ，JS(p,q)=∞となってしまうと思うのですが。

ならないと思いますよ。
divergenceというものをググって初めて見たので不勉強ですが，
http://en.wikipedia.org/wiki/Kullback-Leibler_divergence
にあるKullback-Leibler divergenceとJensen-Shannon divergenceの定義（後者は頁の一番下にある）から見て，
D_KL(P||Q)は，P(x)!=0かつQ(x)=0となるxが存在する場合に+Infに発散するでしょうね。
でもD_JS(P||Q)は，そのような場合でも発散しない。
P(x)=0かつQ(x)=0でも発散しませんね。
x*log(x)→0(x→0)がポイント。

No.02948　Re: Jensen-Shannon divergence　　【satoh】　2007/03/08(Thu) 15:29

あっ!!そーか。
x*log(x)→0(x→0)の部分で勘違いしてました。
kzkishiさんありがとうございます。