不気味な Vicarious

秘密裏に開発を進めていて不気味な Vicarious について、
下記記事に最近の状況が少し書かれています。

宮本和明のシリコンバレー最新先端技術報告 - Facebookの次の10年、人工知能が支えるソーシャルネットワーク:ITpro

「これに対してVicariousは、人間のように、“イマジネーション”を使って高速に学習すると言われている。 」
とのこと。
EMアルゴリズムのことでしょうかね。
Vicarious の技術が HTM のようなベイジアンネットかどうかはわかりませんが、
デモを見る限り生成モデルであることは間違いないです。

デモを見ただけではすごいのかすごくないのか、いまひとつわかりませんが、
これらのデモがもし単に片手間に作ったものに過ぎないならば、
おそろしい潜在能力を秘めている可能性はあると思います。

挙げられている応用はけっこう平凡で、ここは安心材料です。
しかし、すでに投資を得ている以上彼らにとって対外的なハデな宣伝は不要なわけで、
まったくあなどれません。

ちなみにEMアルゴリズムは、
「多くの実例では他の手法に比べて 良い解に収束する」
「繰り返しの初期の段階では Newton 法 と同定度に速い」そうです。
参考:「EM アルゴリスム

現状のディープラーニング技術はほぼすべて、
EMアルゴリズムではなく勾配法です。

Vicarious が複雑な生成モデルをEMアルゴリズムで学習する技術を
開発しているとすれば、現状のディープラーニングよりよいものに
なる可能性はありますよね・・・!?

ちなみに、 BESOM の学習もEMアルゴリズムです。
勾配法は認識結果の「点」を使って誤差を計算するが、
EMアルゴリズムは事後確率の「分布」をもとに学習するので、
計算時間はかかるけれど、よい解に少ないステップで収束するのではないかなあ、
と直感的には思います。

EMアルゴリズムの利点を保ったまま、
いかに計算時間を少なくするかが重要な技術的課題です。

追記:Vicarious へのインタビュー記事も出てました。
技術的詳細はあいかわらず不明。
ザッカーバーグやベゾスなど超大物投資家ずらり、ナゾに包まれたAI企業:日経ビジネスオンライン