DARPA の SyNAPSE プロジェクト

こんな記事が出てました。
「CNN.co.jp:人間の脳の能力模倣したチップ開発に成功、IBM発表 - (1/2)」
http://www.cnn.co.jp/tech/30003738.html

DARPA の SyNAPSE というプロジェクトの成果の1つだそうです。
あまり眼中にないのですが、(^_^;)
ちょうど CACM に関連記事が出ていたので、
google 翻訳の助けを借りつつ、ざっと読んでみました。

Dharmendra S. Modha, Rajagopal Ananthanarayanan, Steven K. Esser, Anthony Ndirango, Anthony J. Sherbondy, Raghavendra Singh
Cognitive Computing,
Communications of the ACM, Vol. 54 No. 8, Pages 62-71, 2011.
「Cognitive Computing | August 2011 | Communications of the ACM」
http://cacm.acm.org/magazines/2011/8/114944-cognitive-computing/fulltext

以下、メモです。かぎかっこ内は私の意訳です。

・ p.62
「「認知コンピューティング」の目標は、
AI pioneer の Allen Newell が言う「ヒト認知の統一理論」。」
(目的は私と同じらしい。)
p.63 「このような背景から、我々は、神経科学の膨大なデータを
大規模シミュレーションによって利用可能にする、というアプローチをとる。」
(ううむ、アプローチは間違ってはいないと思うけど、
コンピュータに入れるデータの適切な取捨選択と、適切な補完が必要だよなあ。
Blue Brain もそうだったけど、この種のアプローチって、補完があまりない。
BESOM のように、機械学習の知見を使った強力な補完が不可欠だと思うんだけど。)
p.65 「報告すべき成果はわずかしかないが、我々の目標は高い。」
(やっぱり、まだたいしたことはできてないようだ・・・。)
「重要な決定事項は、シミュレーションのための適切な抽象レベルの選択。」
「我々の選択は中間。コネクショニストモデルほどは抽象的すぎず、
生物学的に妥当なシミュレーションよりは抽象的。」
p.67 図1、図2は IBM-Almaden での 2009, 2010 年の成果。
「ヒトの脳の白質経路の計測」と「マカクザルの脳の白質経路の分析」。
(この前後、神経科学の基本的な内容の説明が続く。ヘブ則とか。)
(こういう、解剖学的知見の詳細化は、重要なのでどんどんやるべきだと思う。
解剖学的構造には、機械学習の理論だけからは決まらない、
学習対象に関する事前知識が濃縮されていると思うので。)
p.68 「ニューロンは発火頻度で情報を表現するという考えが支配的。
しかし、スパイクタイミングに付加的な情報があるとする研究もある。」
(このへんの主張、弱い。
やっぱりスパイクタイミングを支持する強い証拠はないということか。)
「スパイクは脳内の情報伝達の普遍的かつ基本的要素である。
したがって、脳のスパイクの時系列を再現させるシミュレーションこそが、
ニューラルコンピューテーションには不可欠である、という仮説を我々は採用する。」
(なんでそうなるのかな~??根拠が弱いのでは。まあ、発火頻度モデルでは、
BESOM なみにかなり強力に「補完」しないと何もできないのが明らかだからか?)
「スパイクのような細かすぎるシミュレーションは脳のアルゴリズムを
見えにくくすると主張する人もいる。」(参考文献にはミンスキー。)
「逆により細かいシミュレーションが必要という人もいる。」
p.70 「現実的な予測としては、認知機能がこのような神経生物学的な
シミュレーションから自発的に創発することはないだろう。」
(この種の詳細大規模シミュレーションに先走る人たちは、
「大規模に動かしてみれば意識が創発するかもしれない」と素朴に信じている
人たちばかりだと思っていたが、そうでもない?
プレス発表でのリップサービスと現実に狙っているところは
違うということもあるかも。)
「我々が作るシミュレーションアーキテクチャは、「答え」そのものではなく、
線形加速器のように、何かを発見するためのツール。」
(何を発見すると期待している?)
「 DARPA の SyNAPSE で 2008 年からチップを開発。」
p.71 「最後に、悪いことに、脳の中心となるアルゴリズムは、
いまだ発見されていない。 今後も努力が必要。」
(アルゴリズムの重要性は認識しているようだ。)
・ p.68 囲み。
種ごとのニューロン数とシナプス数が出てる。出典不明。大脳皮質のみ?
1ニューロンあたり1万シナプス、というのは種によらず正確に成り立っている。
mouse, rat, cat については精度の高い値が載っている。
ニューロン数は mouse 1600万、 rat 5500万、cat 7億6300万。
monkey 20億、 human 200億。
(cat は意外に少なくない。サルの 1/3 程度。
monkey は human の 1/10 、 mouse は 1/1000 か。)
・ p.68 囲み。「皮質シミュレータの設計と実装」
(ここ、ちょっと重要。 ちゃんとスケーラビリティを考えている。)
"C2 near-real-time mammalian-scale cortical simulator" 。
「スパイクは設定可能な軸索遅延を通して他のニューロンの膜電位を変化させる。」
「シナプス状態の表現方法はメモリ効率がよく、スケーラブル。」
「各タイムステップにおける計算演算数は、膨大なシナプス数にではなく、
スパイク数に比例する。」
(near-real-time だが、スパイク数でシミュレーション時間は変化するのか?)
「同期も効率的で、「2通信ステップ」しか必要ない。」
(というわけで、スケーラビリティを考慮した相当凝ったアーキテクチャのようだ。
もし BESOM モデルだけでは足りなくて、 spiking neuron が本質的に
必要という話になれば、その時はこの技術が意味を持ってくるかもしれない。)
(スケーラブルなニューラルネットの技術開発という意味では、
私の今やっているところと重なるところがある。)

(2011-08-24 感想を多少追加しました。)