★ Kullback-Leibler divergenceについて ★

1286.　Kullback-Leibler divergenceについて　やまもと　2003/12/10 (水) 11:52
└1288.　Re: Kullback-Leibler divergenceについて　青木繁伸　2003/12/10 (水) 11:58
　└1294.　Re^2: Kullback-Leibler divergenceについて　やまもと　2003/12/10 (水) 15:22
　　└1297.　Re^3: Kullback-Leibler divergenceについて　ときた　2003/12/10 (水) 18:30
　　　└1298.　Re^4: Kullback-Leibler divergenceについて　青木繁伸　2003/12/10 (水) 19:12
　　　　└1299.　Re^5: Kullback-Leibler divergenceについて　ときた　2003/12/10 (水) 19:44
　　　　　├1301.　Re^6: Kullback-Leibler divergenceについて　青木繁伸　2003/12/10 (水) 20:28
　　　　　└1300.　Re^6: Kullback-Leibler divergenceについて　やまもと　2003/12/10 (水) 19:59

1286.　Kullback-Leibler divergenceについて　やまもと　　2003/12/10 (水) 11:52
2つの多次元正規分布に対するKullback-Leibler divergenceを導出したのですが，でてきた値の解釈に困っています．

Kullback-Leibler divergenceが0となるとき，2つの分布が等しいことは分かるのですが，例えば，この値が10になった場合，これは何を意味するのでしょうか？
この値から，2つの分布がどれくらい離れているかという定性的な説明は可能でしょうか？
(10以上なら，その分布はかさなっていないと判断していいよ．というような感じです)
ご教授いただけると幸いです．

　　　　　[このページのトップへ]

1288.　Re: Kullback-Leibler divergenceについて　青木繁伸　　2003/12/10 (水) 11:58
> 2つの多次元正規分布に対するKullback-Leibler divergence

ってのは，全く私にはわからないものですが，

> 2つの分布がどれくらい離れているかという定性的な説明は可能でしょうか？
> (10以上なら，その分布はかさなっていないと判断していいよ．というような感じです)

定性的か定量的かはわかりませんが，
http://aoki2.si.gunma-u.ac.jp/lecture/Wilks/wilks2.html
にある検定では，多変量に拡張された平均値の差の検定を行えます。

http://aoki2.si.gunma-u.ac.jp/lecture/Wilks/wilks3.html
は，分散共分散行列の同等性の検定です。

　　　　　[このページのトップへ]

1294.　Re^2: Kullback-Leibler divergenceについて　やまもと　　2003/12/10 (水) 15:22
> http://aoki2.si.gunma-u.ac.jp/lecture/Wilks/wilks2.html
> にある検定では，多変量に拡張された平均値の差の検定を行えます。
>
> http://aoki2.si.gunma-u.ac.jp/lecture/Wilks/wilks3.html

ありがとうございます．
参考にさせていただきます．

　　　　　[このページのトップへ]

1297.　Re^3: Kullback-Leibler divergenceについて　ときた　　2003/12/10 (水) 18:30
K-L divergence だけを使った情報幾何の簡単な6ページの解説が，
http://watanabe-www.pi.titech.ac.jp/〜swatanab/2003_7tu.html
の村田にあります。
旧来のKL情報量でえんとろぴーにマイナスです。
2次で数式で計算は簡単でしたが，3次ではmathematcaもいやがってた。
数値ででてきたのと，実際の距離との間の感覚は，乱数で沢山実験して普通の検定結果との対応表を作るか？一つを赤，一つを黒の点でグラフィックスを見て，眼力？を養うか？？？

　　　　　[このページのトップへ]

1298.　Re^4: Kullback-Leibler divergenceについて　青木繁伸　　2003/12/10 (水) 19:12
チルダは，全角で入れてはいけません。
半角のチルダは，フォントによっては全角のチルダの半角文字とは思えないかもしれない形になっているかもしれません。

安全を考えれば %7e と書けばいいです。
http://watanabe-www.pi.titech.ac.jp/~swatanab/2003_7tu.html

　　　　　[このページのトップへ]

1299.　Re^5: Kullback-Leibler divergenceについて　ときた　　2003/12/10 (水) 19:44
> チルダは，全角で入れてはいけません。
> 半角のチルダは，フォントによっては全角のチルダの半角文字とは思えないかもしれない形になっているかもしれません。
>
> 安全を考えれば %7e と書けばいいです。
> http://watanabe-www.pi.titech.ac.jp/〜swatanab/2003_7tu.html
すいません。2度目の失敗です。G5でSafariでペーストするとき頻発するので注意してたのですが。またやってしまいました。
Kullback-Leibler divergenceの　遊びですが，
<< Statistics`MultinormalDistribution`
Show[Graphics[{Hue[0.7], Point /@ RandomArray[MultinormalDistribution[{0, 0}, \
{{1, 0}, {0, 1}}], 500],
      Hue[1], Point /@ RandomArray[MultinormalDistribution[{2, 0}, {{1,
               0}, {0, 1}}], 500]}]]
最後の2などを変えれば，赤い分布と青い分布を500点づつ眺められ，
Table[NIntegrate[Log[PDF[MultinormalDistribution[{
            k, 0}, {{1, 0}, {0, 1}}], {x, y}]/PDF[MultinormalDistribution[{
              0, 0}, {{1, 0}, {0, 1}}], {x, y}]] PDF[
            MultinormalDistribution[{k, 0}, {{1, 0}, {0, 1}}], {x, y}], {x, \
-Infinity, Infinity}, {y, -Infinity, Infinity}], {k, 0.1, 3.1, 0.5}]

{0.005, 0.18, 0.605, 1.28, 2.205, 3.38, 4.805}
と距離も計算できます。
どういう価値があるかはわかりませんが。

　　　　　[このページのトップへ]

1301.　Re^6: Kullback-Leibler divergenceについて　青木繁伸　　2003/12/10 (水) 20:28
> > チルダは，全角で入れてはいけません。
> > > > 安全を考えれば %7e と書けばいいです。
> > http://watanabe-www.pi.titech.ac.jp/〜swatanab/2003_7tu.html

なるほど，私のを引用するだけで全角になってしまうのですね。

> すいません。2度目の失敗です。G5でSafariでペーストするとき頻発するので注意してたのですが。またやってしまいました。

了解しました。

　　　　　[このページのトップへ]

1300.　Re^6: Kullback-Leibler divergenceについて　やまもと　　2003/12/10 (水) 19:59
とても勉強になりました．(^-^)
ありがとうございます．

　　　　　[このページのトップへ]

● 「統計学関連なんでもあり」の過去ログ--- 026 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る