スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

ICAに必要なサンプル数

n 個の信号源のICAに必要なサンプル数は、すべての信号源が優ガウスなら O(n) 個、すべての信号源が劣ガウスならば O(2^n) 個だろう、ということに気付いた。

信号源が優ガウスならば、混合信号を n 次元空間にプロットしたときの「トゲ」の部分を見つけることがICAに相当するが、トゲの数は 2n 個。
一方、信号源が劣ガウスの場合、 n 次元空間にプロットされた n 次元超平行四辺形の面を見つけることがICAに相当。面の数は 2n 個だけど、すべての面の向きを決めるためには O(2^n) 個ある頂点付近をサンプル点で埋める必要があるだろう。
(実験で確かめるべきだけど。)
(2009-10-13 追記:
線形の場合、ICAで学習すべきパラメタの数は混合行列の要素の数で n^2 個だから、
劣ガウス分布の場合でも O(n^2) 個のサンプルで学習できるかも?
非線形ICAの場合は、たぶん O(2^n) 個のサンプルが必要だと思う。)

大脳皮質は複数のSOMをうまく使って劣ガウスな信号源を非線形ICAしていると思っていたけど、そのアイデアは捨てることにしました。テクニカルレポート2009に書いたように、複数のSOMを使った非線形ICAには他にも下記の問題があります。

・ O(n^2) 個の抑制性結合が必要。
・ O(2^n) 個の特徴が必要。
・ SOM間競合の機構と干渉してうまく動いてない。

複数のSOMを使った非線形ICAを捨てれば、これらの問題はすべて消滅します。
この方針でシミュレータを作りなおそうと思います。


ついでに特徴間競合(エッジ間競合)についても進捗報告。
O(n^2) 本のエッジから結合の強いものだけを O(n) 本選び出すために必要な計算量は
普通にやると O(n^2) です。
BESOM の場合、ちょっと工夫することで O(n) に減らせる見込みです。
(誰でも2~3日考えれば思いつくと思います。)


これらがちゃんと動けば、ついにBESOMの O(n) の認識・学習アルゴリズムが
完成することになります。

こういう話に興味のある方、常時募集中です。
強力な知財部門をお持ちの方が希望です。(^_^)

コメント

コメントの投稿

トラックバック


この記事にトラックバックする(FC2ブログユーザー)

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。