ILSVRC'12 での deep learning の成果

画像認識のコンテストdeep learning を使った Hinton らのグループが
非常によい結果を出したらしいです。

ツイッターでのざわつきがこちらにまとめられています。
これをざっと読むだけで deep learning がどんなものか
分かってくると思います。

「深イイ学習 - Togetter」
ILSVRC'12のHintonらの結果に対するざわつきを雑にまとめました
http://togetter.com/li/387872


ところで、 deep learning がブラックボックスだとか黒魔術だとかいう
感想があるようですが、なんでそういう感想が出てくるのか、
私はよく分かってないです。(私が不勉強のせいもあるとは思いますが。)

Deep learning を成功させるために様々なテクニックが使われますが、
どれも学習対象に対する事前知識を作り込むことで、
局所解・過適合を避けているのだと解釈できると思うのですが・・・?

ネットワークが「深い」と性能が上がるのは、
それにより生成モデルの表現力が指数関数的に増すことがあるからです。
(ただし、学習対象が深い生成モデルを使った表現に適していない場合は、
当然ながら deep learning を使っても性能は出ないでしょう。)

「特徴抽出器の学習」という観点から言えば、
研究者が手作りしたアドホックな特徴抽出器よりは、
大量のデータから学習した、ある意味統計的最適な特徴抽出器の方が
性能がよいのは当然のことだと思います。
(もし学習が局所解・過適合に陥らずに成功すれば、の話ですが。)

コメント

No title

黒魔術というのは
学習係数を決めるときのテクニックのことで
機械学習用語です

その辺りの経験の蓄積もかなり大きいです

コメントの投稿

トラックバック


この記事にトラックバックする(FC2ブログユーザー)