「統計学関連なんでもあり」の過去ログ---014

　140　独立成分分析について2　　学生　　2001/06/29 (金) 15:30
　　142　Re: 独立成分分析について2　　えっへん　　2001/06/29 (金) 17:27

140.　独立成分分析について2　　学生　　2001/06/29 (金) 15:30

先日，掲示板に独立成分分析について書いた学生です。
どうも貴重なコメントありがとうございます。
それにも関わらず，ΔW=0の時にI=0としてよいかがまだ良く分かっていません。
例えば，可視化するためにWを2変数とすると，I(W）のグラフは下に凸であることは分かるのですが，極が一個であるということが保証できないとΔW=0では他の極で止まってしまうこともあると思うのですが・・・
どうか教えてください。
また，よろしかったら参考文献なども教えて欲しいのですが・・・

ちなみにカルバック情報量で独立性の評価を行い，アルゴリズムは最尤法でなく，最急降下法で行い始めています。

　　　　　[このページのトップへ]

142.　Re: 独立成分分析について2　　えっへん　　2001/06/29 (金) 17:27

> ちなみにカルバック情報量で独立性の評価を行い，アルゴリズムは最尤法でなく，最急降下法で行い始めています。
すみません。
最尤法じゃなくて最急降下法です。
ぜんぜん関係のない言葉を言ってしまいました。

> それにも関わらず，ΔW=0の時にI=0としてよいかがまだ良く分かっていません。
> また，よろしかったら参考文献なども教えて欲しいのですが・・・
最急降下法ですからもちろん，大域的な最小値に落ち着いてるかどうかは保証されません。
アルゴリズムはΔ=I-φ(y)y，もしくはその一次結合の形になってると思います。
（Iは単位行列，yは復元信号，理想的にはsと一致）
もし，復元した行列が独立なら異なる成分間の積は0なので
Δij=0(iとjが異なるとき)になり，Δii（iとjが等しいとき）にだけ値をもつことになります。これが独立じゃないときにもその式が成り立つ可能性はあるというのが大域的な最小値を保証しないことの言い換えになってます。
ICAの解説は，ComputerTodayという雑誌の連載が一番だと思います。
今年の7月号まで連載をやってました。
参考文献もそこにあります。

　　　　　[このページのトップへ]