スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

numenta の HTM 大脳皮質性学習アルゴリズム

先日ご紹介した numenta の新しいHTM学習アルゴリズムの和訳を、疑似コード以外の章をざっと読んでみました。

翻訳の質はすばらしいです。訳してくださった方に感謝です!


以下、読んでわかったことのメモです。

・ネットワークの層(脳でいえば領野)のことをリージョンと呼んでいる。

・今回のアルゴリズムはベイジアンネットではない。
リージョン内はリカレントなネットワークで時系列学習をする。
リージョン間はフィードフォーワード。スパース符号化のようなことをする。

・学習アルゴリズムは、定性的には機械学習アルゴリズムとして
意味のあることをやっていると思う。
ただ、機械学習の用語はまったく出てこないで、
独特の用語で言いかえられている。
クラスタリング→プーリングなど。

・スパース性を上げたりノイズを除去したりする工夫があちこちにある。

- リージョンはスパース符号化に似た競合学習でクラスタリングを行う。
- シナプス間競合のような機構がある。
- シナプスの重みは階段関数を通して使う。

これらは、定性的には汎化能力を上げる効果が実際にあると思う。
ただ、やり方はあいかわらずアドホック。
現状のアルゴリズムでどの程度のデモができているのかが興味のあるところ。

・彼らは、末梢樹状突起が持つ入力の同時性検出が、
時系列学習のための機構だと解釈しているらしい。なるほど。
(私は時系列学習ではなく、
パルスの同時性検出で発火頻度の掛け算を実現しているのだろうなーと、
考えています。)

・彼らは視覚野も時系列学習をしていると思っていて、
その根拠がいくつか書かれている。
(私は最近は、視覚野は時系列学習をしていないと思っています。
V1やMT・MST野の運動方向選択性ニューロンは、
オプティカルフローという静的な情報として処理されていると思います。
また、視覚野は invariant を獲得するために「目の前の物体は急に変化しない」という
入力時系列に関する仮定を使いますが、それは時系列学習とは違う話です。
必要のないところで時系列学習をやっても汎化能力が落ちるだけなので、
視覚野は時系列学習はしていないと思います。



なお、付録A,Bを読むと、彼らはちゃんと神経科学的知見から
アルゴリズム設計のアイデアを得ていることが分かります。
このような態度にはとても共感できます。
このようなアプローチを取る研究者がもっと増えるべきだと思います!!


コメント

Re: 難しい..

うとさん:
コメントありがとうございます。

>神経科学はよく分かりません。

最初は用語がとっつきにくいと思いますが、
特に難解な概念というのはないので、勉強はしやすいと思いますよ。


>どうやったら学習アルゴリズムの正しさを評価・証明できるのか

他の自然科学の分野と同じす。
提案する理論やモデルによって、知られている様々な現象を説明し、
さらに知られていない現象を予言し、予言された現象が実験により検証されれば、
理論やモデルが正しい可能性が高まっていくことになります。
ただ、脳に関しては膨大な面白い現象が知られているので、
それらのうちいくつか重要なものを統一的に説明する自明でないモデルであれば、
実験による検証以前でも、それなりに妥当性は評価されるでしょう。


>世界中の全コンピューターを総合したとしても、1人の人間の脳の中身にすら及ばない...

この記事を読んだだけではどういう研究なのか分かりませんが、
シナプスの動作をどの程度近似するとどの程度脳の機能が再現できるのかが、
重要だと思います。それについてはこの記事は何も言っていません。
厳密に動作を再現させようとすると無限に計算量が必要なのは、
まあ当然でしょう。

難しい..

少し文書を眺めてみたのですが、知識が及ばず、理解できませんでした。
機械学習の言葉で説明してもらえると、もう少し分かり易いのになぁ。
神経科学はよく分かりません。

この分野は、どうやったら学習アルゴリズムの正しさを評価・証明できるのか興味があります。

話題は異なりますが、以下の記事をどう思われますか?

世界中の全コンピューターを総合したとしても、1人の人間の脳の中身にすら及ばない...
http://www.gizmodo.jp/2011/02/post_8409.html

計算量的な観点では、BESOMさんの予想と異なる内容なのではと思いました。

コメントの投稿

トラックバック


この記事にトラックバックする(FC2ブログユーザー)

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。