転移学習・マルチタスク学習と脳

最近機械学習の分野で転移学習、マルチタスク学習というものが
活発に研究されているようです。
異なるタスクの間で学習で得られる知識の一部を共有することで、
汎化能力を上げる、というものです。

神嶌 敏弘 "転移学習のサーベイ" 人工知能学会研究会資料 SIG-DMSM-A803-06 (2009)
http://www.kamishima.net/jp/publist.html#BIB094
「転移学習 - 機械学習の「朱鷺の杜Wiki」」
「マルチタスク学習 - 機械学習の「朱鷺の杜Wiki」」

脳は生きていくために必要な様々なタスクを学習していく、
非常に極端なマルチタスク学習器と言えるでしょう。

大脳皮質は、上記解説の神嶌さんの分類による
事例ベース、特徴ベース、モデルベースのすべてのアプローチを
取り入れていると思います。
おおざっぱにいってこういうかんじではないかと。

・事例ベースアプローチ:スパース符号化を行う高次領野の共有。
BESOM のスパース符号化は、ノードを弱学習器だと思えば、
神嶌さんの TrBagg アルゴリズムと似ています。)

・特徴ベースアプローチ:特徴抽出を行う低次領野の共有。

・モデルベースアプローチ:事前分布を与えるより高次な領野の共有、中間領野の共有。

(ただし、高次領野も低次領野もすべてモデルの一部だと思えば、
いずれもモデルベースアプローチだと解釈できますが。)

転移学習・マルチタスク学習の効果をフル活用していることが、
脳が極めて高い汎化能力を発揮する秘密の1つだと思います。

コメント

コメントの投稿

トラックバック


この記事にトラックバックする(FC2ブログユーザー)