スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

Deep Learning でまだやられていないこと?

多層のBESOMが持つであろう特徴のうち、
Deep Learning がまだ実現していないと思われるものがいくつかあります。

・動的計画法を使った認識。
BESOMの belief revision は、もとが動的計画法なので、
勾配法やMCMCより速くよい解に収束する可能性があります。
状況によるのでやってみないと分かりませんが。

・生成モデルに関する事前知識の作り込み。
ネットワークが生成モデルならば、
深い層に表現されるものは「信号源」です。
信号源に関する事前知識を積極的に作り込めば、
性能はもっと上げられると思います。
特に、脳のように、物体の視覚刺激を what と where という独立成分に
分離する機構を作り込む効果は大きいかもしれません。

・トップダウンの文脈情報の利用。
ベイジアンネットならば時間的・空間的な文脈情報を
事前分布として下の層に送ることで、
全体の認識精度を上げることができると期待できます。



一方で、BESOMでベンチマークにチャレンジしても
Deep Learning を越えられない可能性もあります。

・ノーフリーランチ定理。
万能の機械学習器というのはあり得ず、必ず得意・不得意があります。
不得意なベンチマークでは当然性能で負けます。
既存のベンチマークがBESOMに向いている保証はありません。

・ハイパーパラメタの調整不足で失敗する可能性。
BESOMは高機能な分、調整が難しくなる可能性があります。
いちおう脳の構造を模倣しているので
神経科学的知見からハイパーパラメタのヒントをもらうことが
できるという利点はあります。
生物の脳は長い年月の進化によってハイパーパラメタを最適化ずみです。
しかし、その利点がどこまで生かせるかは、
やってみないと分かりません。

・未知のメカニズムが必要な可能性。
BESOMは小規模なタスクなら比較的安定動作するようになってきましたが、
大規模なタスクではさらに何か別の機構を追加する必要が
出てくるかもしれません。

・もっと根本的な問題として、
今実装されている近似 belief revsion の近似精度が悪すぎる可能性もあります。、
その場合はアルゴリズムの改良が必要になるでしょう。


といったところです。
スポンサーサイト
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。