「統計学関連なんでもあり」の過去ログ---014

　101　独立成分分析について　　学生　　2001/06/20 (水) 11:45
　　128　Re: 独立成分分析について　　えっへん　　2001/06/28 (木) 04:05

101.　独立成分分析について　　学生　　2001/06/20 (水) 11:45

独立成分分析について学びたいと思っている学生です。
カルバック情報量を使って分析したいと考えています。
プログラムするにあたりどうやったら解析完了とすればよいか分かりません。
“相互情報量=0”のときとしたいのですが入力信号の確率分布が分からず，“ΔW=0”のときとすると必要条件だけのような気がするのですが・・・
どうしたらよいでしょうか教えてください。

　　　　　[このページのトップへ]

128.　Re: 独立成分分析について　　えっへん　　2001/06/28 (木) 04:05

> どうやったら解析完了とすればよいか分かりません。
> “相互情報量=0”のときとしたいのですが入力信号の確率分布が分からず，“ΔW=0”のときとすると必要条件だけのような気がするのですが・・・
たしかに相互情報量=0を目的関数としてWを求めるのがスジですが，元の独立成分の確率分布がわからないと解くのが困難です。
それで適当に元の独立成分の確率分布r(s)を仮定して，その下で相互情報量=0を最尤法によって解くことになります。ここでr(s)を適当においてますが，適当でもある条件を満たせばうまくいくことが情報幾何の立場から示されています。

> “ΔW=0”のときとすると必要条件だけのような気がするのですが・・・
ところでΔW=0というのはよくわからないです。
ΔW=0は，その導き方しだいで必要条件にも必要十分条件にもなります。

たぶんΔW=0を満たすようなWが相互情報量=0となるように導いていると思うので，ΔW=0を満たせばそれでいいと思います。
実際は，きちんと0になるまで学習をさせると時間がかかることがあるので，ΔW<δ（δは適当な小さい数）を満たせばほぼ収束したとみなして，学習を終了させたりもします。

　　　　　[このページのトップへ]