numenta の HTM 大脳皮質性学習アルゴリズム

先日ご紹介した numenta の新しいHTM学習アルゴリズムの和訳を、疑似コード以外の章をざっと読んでみました。

翻訳の質はすばらしいです。訳してくださった方に感謝です!


以下、読んでわかったことのメモです。

・ネットワークの層(脳でいえば領野)のことをリージョンと呼んでいる。

・今回のアルゴリズムはベイジアンネットではない。
リージョン内はリカレントなネットワークで時系列学習をする。
リージョン間はフィードフォーワード。スパース符号化のようなことをする。

・学習アルゴリズムは、定性的には機械学習アルゴリズムとして
意味のあることをやっていると思う。
ただ、機械学習の用語はまったく出てこないで、
独特の用語で言いかえられている。
クラスタリング→プーリングなど。

・スパース性を上げたりノイズを除去したりする工夫があちこちにある。

- リージョンはスパース符号化に似た競合学習でクラスタリングを行う。
- シナプス間競合のような機構がある。
- シナプスの重みは階段関数を通して使う。

これらは、定性的には汎化能力を上げる効果が実際にあると思う。
ただ、やり方はあいかわらずアドホック。
現状のアルゴリズムでどの程度のデモができているのかが興味のあるところ。

・彼らは、末梢樹状突起が持つ入力の同時性検出が、
時系列学習のための機構だと解釈しているらしい。なるほど。
(私は時系列学習ではなく、
パルスの同時性検出で発火頻度の掛け算を実現しているのだろうなーと、
考えています。)

・彼らは視覚野も時系列学習をしていると思っていて、
その根拠がいくつか書かれている。
(私は最近は、視覚野は時系列学習をしていないと思っています。
V1やMT・MST野の運動方向選択性ニューロンは、
オプティカルフローという静的な情報として処理されていると思います。
また、視覚野は invariant を獲得するために「目の前の物体は急に変化しない」という
入力時系列に関する仮定を使いますが、それは時系列学習とは違う話です。
必要のないところで時系列学習をやっても汎化能力が落ちるだけなので、
視覚野は時系列学習はしていないと思います。



なお、付録A,Bを読むと、彼らはちゃんと神経科学的知見から
アルゴリズム設計のアイデアを得ていることが分かります。
このような態度にはとても共感できます。
このようなアプローチを取る研究者がもっと増えるべきだと思います!!