モデルベース強化学習とシータ位相歳差が結びつく?

「海馬 モデル」で検索してもわかるように、
国内だけでも様々な海馬のモデルが存在します。
(私は海馬のモデルの調査は後回しにしてきたので、
いまのところあまり把握していません。)

ボトムアップの知見だけからモデルを構築すると、
多くの可能性があり得ることになると思います。

そういうときに、脳全体のアーキテクチャのモデルからの
トップダウンの要請によって、
個別の器官のモデルの候補を選別するアプローチが有効だと思います。
ということで、少し考えてみました。

脊椎動物の脳全体はモデルベース強化学習をやっていると仮定します。
(皮質の発達していない哺乳類以外の脊椎動物の脳も想定します。)
モデルベース強化学習では外界の状態遷移確率 T(s,a,s') を
学習する必要があります。
これは、状態 s のときに行動 a をとったら状態 s' に変化する確率です。

T(s,a,s') は、(s,a,s') という3つの値の組のデータベースとして
実現可能です。
そのデータベースを記憶する場所としては海馬が考えられます。
(大脳皮質や小脳も T(s,a,s') を学習する場所だと思いますが、
ここでは置いておきます。)
海馬が記憶するエピソードは (s,a,s') のことである、
というのはもっともらしい話に思えます。

しかし、 s と s' は、脳内ではそれぞれ異なる時刻における
ニューロン発火のポピュレーションとして表現される値です。
これを海馬の連想記憶装置に対し、
1つのエピソードとして入出力する方法は自明ではありません。

工学的に実現しようと思えば様々なやり方があり得ますが、
どのやり方が最も効率的かを知るためには膨大な試行錯誤が必要になってしまいます。
今度は神経科学的知見からボトムアップに、
実現方法の候補を選別するアプローチが有効だと思います。

1つのヒントがシータ位相歳差という現象です。
(s,a) と (s',a) を1つのシータサイクルの中に時分割で
海馬に入力することで、 (s,a,s') を海馬に記憶させることが、
可能かも知れません。
s と s' の間を連続につないだものがシータ位相歳差として
観測される気がします。

さて、この着想、様々な神経科学的知見と整合性はあるでしょうか。
文献調査や、シミュレーションによる動作の確認や神経科学的現象の再現、
モデルからの予言の生物実験による検証が必要です。

時分割で想起される (s,a) と (s',a) を、
皮質などの他の器官がはたして区別して利用可能なのかも、
まだ検討していません。

ともかく、こういうやり方で、こつこつと脳のモデルの候補を絞り込んでけば、
脳全体のアーキテクチャが解明できると思います。

実際に手を動かしてこういう研究ができる人が増えてほしいです。
現状では圧倒的に人が少なく、非常にもったいないです。
人、物、金、情報のうち、
物(特殊な実験設備)は不要、
金(研究費)はつけたがっている人が多く、
情報(機械学習や神経科学の知見)はすでに膨大な量がネット上にあるのですが、
とにかく人が不足しています。

コメント

コメントの投稿

トラックバック


この記事にトラックバックする(FC2ブログユーザー)