147　独立成分分析:相関について　　学生　　2001/07/01 (日) 00:47
　　154　Re: 独立成分分析:相関について　　えっへん　　2001/07/03 (火) 19:53
　　　159　Re^2: 独立成分分析:相関について　　学生　　2001/07/05 (木) 08:12
　　　　160　Re^3: 独立成分分析:相関について　　えっへん　　2001/07/05 (木) 20:30
　　　　　161　独立成分分析　　学生　　2001/07/05 (木) 21:36
　　　　　　183　Re: 独立成分分析　　えっへん　　2001/07/10 (火) 16:44
　　　　　　　184　Re^2: 独立成分分析　つづき　　えっへん　　2001/07/10 (火) 16:47
　　　　　　　　188　Re^3: 独立成分分析　つづき　　学生　　2001/07/11 (水) 01:01
　　　　　　　　　191　Re^4: 独立成分分析　つづき　　えっへん　　2001/07/11 (水) 16:44
　　　　　　　　　　215　Re^5: 独立成分分析　つづき　　学生　　2001/07/14 (土) 00:23
　　　　　　　　　　　238　Re^6: 独立成分分析　つづき　　えっへん　　2001/07/17 (火) 19:59
　　　　　　　　　　　　240　Re^7: 独立成分分析　つづき　　学生　　2001/07/17 (火) 23:29
　　　　　　　　　　　　　252　Re^8: 独立成分分析　つづき　　えっへん　　2001/07/21 (土) 16:27
　　　　　　　　　　　　　　265　Re^9: 独立成分分析　つづき　　学生　　2001/07/24 (火) 00:34
　　　　　　　　　　　　　　　278　Re^10: 独立成分分析　つづき　　えっへん　　2001/07/25 (水) 04:23
　　　　　　　　　　　　　　　277　Re^10: 独立成分分析　つづき　　えっへん　　2001/07/25 (水) 03:28
　　　　　　　　　　　　　　　　287　Re^11: 独立成分分析　つづき　　学生　　2001/07/25 (水) 15:04
　　149　Re: 独立成分分析:相関について　　マンボウ　　2001/07/01 (日) 21:38

147.　独立成分分析:相関について　　学生　　2001/07/01 (日) 00:47

相関と独立の違いについて考えています。 無相関の散布図であるが独立でない散布図という例でComputerTodayに◆のような分布がのっていました。 これは理解できたのですが，論文を読んでみると×は無相関だが独立でないが，+のような分布は独立な分布となっていました。 これが独立なのが理解できません。 自分の中では2変数の場合，それぞれ一つの変数を動かしても分布が変わらないような分布，つまり■のような分布のみを独立としか考えられないのですが 根本的な理解の誤りでしょうか。 どうか，教えてください。 また他に2変数で独立な分布があるならば，その形とそれが独立と捉えられる理論を教えてください。

　　　　　[このページのトップへ]

154.　Re: 独立成分分析:相関について　　えっへん　　2001/07/03 (火) 19:53

>自分の中では2変数の場合，それぞれ一つの変数を動かしても分布が変わらないような分布，つまり■のような分布のみを独立としか考えられないのですが根本的な理解の誤りでしょうか。 いや，まったくその通りです。 p(x,y)=p(x)*p(y)とかけるのが独立の定義。 だから独立であればp(y|x)=p(x,y)/p(x)=p(y)となり， yの分布はxの値に依存することはありません。 ところであなたがいう■とか◆とかの平面は，xとyの2次元の平面ですね。 そこにはp(x,y)に従って点（x,y）が散布しているのでしょう。 そんなわけで微小領域dxdy内の点の密度はp(x,y)dxdyの大きさをあらわしています。 もしxとyが独立なら点の密度はp(x)p(y)dxdyに比例します。 こう書けば+のような形になってもかまわないことがわかると思うのですが， どうもうまく説明できないです。すみません。

　　　　　[このページのトップへ]

159.　Re^2: 独立成分分析:相関について　　学生　　2001/07/05 (木) 08:12

えっへんさん どうも毎回ありがとうございます。 > こう書けば+のような形になってもかまわないことがわかると思うのですが， 上記のことなのですが もし，私の定義があっているとすれば x=0，のときの分布がx=0でないときの分布と異なること また，yについても同様 から独立のように考えられないのですが・・・

　　　　　[このページのトップへ]

160.　Re^3: 独立成分分析:相関について　　えっへん　　2001/07/05 (木) 20:30

> もし，私の定義があっているとすれば > x=0，のときの分布がx=0でないときの分布と異なること > また，yについても同様 > から独立のように考えられないのですが・・・ 点の数は違っても分布は同じなんです。 つまり，x=aにしたときyの点を1000個散布したp(y|x=a)の分布と 　　　　x=bにしたときyの点を1000個散布したp(y|x=b)の分布が 実は同じ形なんです。 ただp(x,y)の空間で眺めると原点に近い点の方に点が密集してるので，片方，例えばx=aのときの点が多く，x=bのときの点が少ないので同じに見えないだけです。分布の形は同じなんです。

　　　　　[このページのトップへ]

161.　独立成分分析　　学生　　2001/07/05 (木) 21:36

毎回，説明して頂きありがとうございます。 > ただp(x,y)の空間で眺めると原点に近い点の方に点が密集してるので，片方，例えばx=aのときの点が多く，x=bのときの点が少ないので同じに見えないだけです。分布の形は同じなんです。 つまり，たくさん点を取れば+の分布は，■となるということですか? また，独立成分分析の学習アルゴリズムについて以下の質問があります。 ΔWt=ηt{I-φ(yt)yT}Wt・・・式（1）　　ただしTは転置 上式を ΔWt=ηtE[I-φ(yt)yT]Wt として扱っても構わないというところです。何故ですか。自分なりに調べてみたところ“一般に，強定常過程が仮定されておりますと，集合平均と時間平均とは等価ですから，上式のように変換されます“とあったのですが，なぜ，式(1)が何故時間平均を表しているのでしょうか?時間平均ならば (1/T)*Σηt{I-φ(yt)yT}Wt の形だと思うのですが，厳密には難しいらしいので概念でも構いません教えてください。

　　　　　[このページのトップへ]

183.　Re: 独立成分分析　　えっへん　　2001/07/10 (火) 16:44

すみません，すっかり返事がおくれました。 > つまり，たくさん点を取れば+の分布は，■となるということですか? そこは違います。 つまり，x=aになる確率とx=bになる確率の違いによって+になるということです。 もしもそれらが同じなら■になるということです。 集合平均と時間平均ですが，概念自体は難しくないと思います。 例えば，サイコロの目の期待値を計算するのに，サイコロを100個同時に振って，その平均を計算するのと，1個のサイコロを100回振ってその平均を計算するのとを同じに扱えるということです。

　　　　　[このページのトップへ]

184.　Re^2: 独立成分分析　つづき　　えっへん　　2001/07/10 (火) 16:47

式で書いてみます。 サイコロの目の期待値をμとし，i番目のサイコロの目をx(i)とします。 t回目までサイコロを振ったとき，そのt回目までの時間平均μtは， μt=Σi=1:t{x(i)}/tでかけます。 μt+1=Σi=1:t+1{x(i)}/t+1とかけるので， Δμ=μt+1-μt=（x(t+1)-μt)/(t+1) このようにt+1番目のサイコロの出た目x(t+1)とt番目までの推定値μtの差によって推定値を更新していくことができます。 この更新は実現値x(t+1)を用いて計算しましたが，実現値x(t+1)の代わりにE[x(t+1)]=μを使っても無限回の更新後には同じ結果になります。 さきのICAアルゴリズムでは実現値自体が今の推定値Wtに影響されるので全く同じではありませんが，同じようなことを考えています。 ちなみに弱定常過程のはなしですが，定常だから絶対的な時刻tには依存せず，時間差が問題になるということです。

　　　　　[このページのトップへ]

188.　Re^3: 独立成分分析　つづき　　学生　　2001/07/11 (水) 01:01

毎回，分かり易いご返事とても感謝しております。 以下の部分についてもう少し詳しく知りたいのですが， > この更新は実現値x(t+1)を用いて計算しましたが，実現値x(t+1)の代わりにE[x(t+1)]=μを使っても無限回の更新後には同じ結果になります。 何故ですか? > さきのICAアルゴリズムでは実現値自体が今の推定値Wtに影響されるので全く同じではありませんが，同じようなことを考えています。 なんとなく分かったような気がするのですが， 厳密に式で証明できないでしょうか?

　　　　　[このページのトップへ]

191.　Re^4: 独立成分分析　つづき　　えっへん　　2001/07/11 (水) 16:44

> 厳密に式で証明できないでしょうか? ある量φ*=E[F(x,φ)]を求めたいとします。 これを勾配法で求めるのですが， その更新は Δφ=φ(t+1)-φ(t)=η(t+1){F(x,φ)-φ(t)} =η(t+1){E[F(x,φ)]-φ(t)}+η(t+1){E[F(x,φ)]-F(x,φ)} で行います。 ここで適切な条件を満たせば， t→∞でφ(t)→φ* となることが証明されます。 ただし，これは証明じゃない（笑） {E[F(x,φ)])-F(x,φ)}の項は平均0のノイズみたいな項です。 それでこれはRobins-Monro型の確率近似法にノイズが加わった形と解釈できます。

　　　　　[このページのトップへ]

215.　Re^5: 独立成分分析　つづき　　学生　　2001/07/14 (土) 00:23

えっへんさんどうもありがとうございます。 > それでこれはRobins-Monro型の確率近似法にノイズが加わった形と解釈できます。 Robins-Monro型の確率近似法について学びたいのですが参考文献などあったらぜひ教えてください。

　　　　　[このページのトップへ]

238.　Re^6: 独立成分分析　つづき　　えっへん　　2001/07/17 (火) 19:59

> Robins-Monro型の確率近似法について学びたいのですが参考文献などあったらぜひ教えてください。 Robins-Monro型というのが実現値を用いて勾配を逐次計算するものです。 それの収束条件については確率近似法について書いてある本を探してください。 Kushner,Yin. (1997) Stochastic Approximation Algorithms and Application, New York* Springer-Verlag にも書いてあるようです。 僕は中心極限定理を知ってるというようなもんで，証明までは確認してませんのでこれ以上は知らないです。

　　　　　[このページのトップへ]

240.　Re^7: 独立成分分析　つづき　　学生　　2001/07/17 (火) 23:29

> Kushner,Yin. (1997) Stochastic Approximation Algorithms and Application, New York* Springer-Verlag えっへんさん参考文献のご指示ありがとうございます。 ただい2入力空間混合モデルのプログラムを使っていろいろシミュレーションをしております。同じ入力を入れたら同じ波形が出てきたのですが，何故ですか?自分の予想では独立性を最大とし，収束点での条件E[φ(y)y]=1を満たすような信号が出てくると思っていたのですが，どちらも満たしていません何故でしょうか?

　　　　　[このページのトップへ]

252.　Re^8: 独立成分分析　つづき　　えっへん　　2001/07/21 (土) 16:27

> ただい2入力空間混合モデルのプログラムを使っていろいろシミュレーションをしております。同じ入力を入れたら同じ波形が出てきたのですが，何故ですか? 同じ入力? 定数倍しか違わないような波形を2つ入力したという意味ですか? それだったらどんな行列W(定数倍)をかけても同じ波形しかでないでしょう。

　　　　　[このページのトップへ]

265.　Re^9: 独立成分分析　つづき　　学生　　2001/07/24 (火) 00:34

えっへんさんどうもありがとうございます。 > それだったらどんな行列W(定数倍)をかけても同じ波形しかでないでしょう。 収束点では確かにそのような結果になることは分かります。しかし，Wを独立性が大きくなるよう更新しているのにそのような結果に収束するのが分からないのです。また，すごく基礎なのですが，2つの信号源から発せられた信号が独立であることを数式を用いて確認できないのでしょうか。今のところ確認の仕方は，無相関を確認し，波形の散布図を目で確認するといったことしかしていないのですが,方法があったらぜひ教えてください。

　　　　　[このページのトップへ]

278.　Re^10: 独立成分分析　つづき　　えっへん　　2001/07/25 (水) 04:23

>また，すごく基礎なのですが，2つの信号源から発せられた信号が独立であることを数式を用いて確認できないのでしょうか。 もともと独立性を測る基準があって，ICAのアルゴリズムは作られています。 その独立性はKullback Leibler Divergence(KLD)で測れます。 だからKLDを調べればよいです。 ただ，KLDの計算にはもとの独立なデータの分布が必要です。 甘利先生はこのへんをGramCharlier展開で近似してますが，他にもカーネルを用いた方法もあります。 それか，もっといいかげんな方法としては， 独立⇔任意の統計量が無相関 を利用してある一部の統計量の相関を測ってみる。 たとえば，一次の相関とか2次の相関（共分散）とか。

　　　　　[このページのトップへ]

277.　Re^10: 独立成分分析　つづき　　えっへん　　2001/07/25 (水) 03:28

> > それだったらどんな行列W(定数倍)をかけても同じ波形しかでないでしょう。 > 収束点では確かにそのような結果になることは分かります。しかし，Wを独立性が大きくなるよう更新しているのにそのような結果に収束するのが分からないのです。 うーん，だから，どんなWをとっても結果が同じだと言ってるんだけど。 式でかくと，いまあなたがとったデータA,Bは 実はあるデータCの定数倍しか違わないもので， A=ka*C; B=kb*C; とかけ，これにある行列Wをかけて分離したデータをX,Yとすると X,Yもやっぱり X=kx*C; Y=ky*C; （ka,kb,kx,kyは定数） になります。 だから分離できないと。 実をいうと，あるひとつのデータしかなくてこれを複数の独立なデータに分離するというのは土台，無理な話です。解の一意性がありません。 なんらかの拘束条件が必要です。

　　　　　[このページのトップへ]

287.　Re^11: 独立成分分析　つづき　　学生　　2001/07/25 (水) 15:04

えっへんさんWの収束，独立性の判定についてもどうもありがとうございました。 Wについては信号源が独立でないという前提すら満たしていないことを考え込んでしまっていたようです。

　　　　　[このページのトップへ]

149.　Re: 独立成分分析:相関について　　マンボウ　　2001/07/01 (日) 21:38

◆とか，×とか，+とか，■のような分布ってのが，よくわかりませんが，かってに解釈して 0 2 0 2 0 2 0 2 0 カイ二乗値=8.00000　自由度= 4　p 値=0.09158 2 0 2 0 2 0 2 0 2 カイ二乗値=10.00000　自由度= 4　p 値=0.04043 0 2 0 2 2 2 0 2 0 カイ二乗値=4.44444　自由度= 4　p 値=0.34919 2 2 2 2 2 2 2 2 2 カイ二乗値=0.00000　自由度= 4　p 値=1.00000 でも，各セルの度数を5にすると 0 5 0 5 0 5 0 5 0 カイ二乗値=20.00000　自由度= 4　p 値=0.00050 5 0 5 0 5 0 5 0 5 カイ二乗値=25.00000　自由度= 4　p 値=0.00005 0 5 0 5 5 5 0 5 0 カイ二乗値=11.11111　自由度= 4　p 値=0.02534 5 5 5 5 5 5 5 5 5 カイ二乗値=0.00000　自由度= 4　p 値=1.00000 になります。 その本に書いてあることはちょっとよくわかりません。

　　　　　[このページのトップへ]

● 「統計学関連なんでもあり」の過去ログ--- 014 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る