incremental EM [Neal and Hinton 1998]

EMアルゴリズムについて調べていて、よい論文を見つけました。

Radford Neal, Geoffrey E. Hinton,
A View of the EM algorithm that justifies incremental, sparse, and other variants,
In Learning in Graphical Models (1998), pp. 355-368.
http://www.cs.toronto.edu/pub/radford/emk.pdf

この論文のEMアルゴリズムの定式化はとても分かりやすく、
EMアルゴリズムの変種の妥当性の証明に用いるのに便利です。
私でもいじくれそうです。(?)


ところで、この論文では incremental EM というものを提案しています。
BESOM の学習アルゴリズムがこの incremental EM と見なせないかと期待して
読み始めたのですが、違うようでした。

ちなみに BESOM の学習アルゴリズムは、
モンテカルロEMの近似と一般化EMを組み合わせたものとして
とりあえず理解できます。(と思ってます。)
認識ステップでは隠れ変数の事後分布からのサンプリングの近似としてMPEを1つ求め、
学習ステップではそのMPEのもとで Q(θ,θold) を増加させます。
もっと強い妥当性が言えそうな気もするのですが、それはまたいつか。

コメント

コメントの投稿

トラックバック


この記事にトラックバックする(FC2ブログユーザー)