質問への回答その4(確率伝搬アルゴリズム)

先日の大脳皮質ベイジアンネットモデルへのご質問への回答その4です。

>アルゴリズム自体の大枠は難しくないのですが、メッセージのところが
>難しかったです(さっき読んだばかりなので今もちゃんと理解出来て
>いないです)。いきなり頭ごなしに「下記のように定義」という説明
>になっています。式的には理解できるのですが、直感的なイメージが。
>「メッセージの意味」で直感的な説明もしてくださって
>いるのですが、これも何度か読み直さないとよくわからなかったです。
>(なぜ隣接するノードからの情報だけを使った局所的な処理になっている
>所が利点なはずなのにm_xyの中に隣接しないノードの項があるのかとか)
>なにかうまいメタファーでもあるといいんですが。

メッセージの直観的な意味は、私自身もまだまだよくわかってないので、
いろいろな人がいろいろな観点から解説を書いていただけるとありがたいです。


>loopyな場合のiterativeな近似解法についてとアルゴリズムの一般形の部分
>も鍵となるアイディアかと思いますのでもっと詳しい解説があるとよいかと
>思いました(というか私が読みたいです)。

Loopy belief propagation の理論的根拠ですが、
ベーテ自由エネルギーの停留点を計算している、
ということが分かっているようです。
ベーテ自由エネルギーとは何かと言うと、
たぶん同時確率の近似の1つということだと思います。
私はここは詳しく調べていません。

確率伝搬アルゴリズムの一般形は、 Pearl の本でも唐突に出てくる気がします。
たぶん、地味に場合分けして式を整理して導出するしかないのだと思います。

EMアルゴリズムの説明にしてもそうですが、
第一原理からアルゴリズムをきれいに導出するようなスタイルの教科書が、
ベイジアンネットの場合すごく書きにくいのかもしれません。

実装にもいろいろ落とし穴があって、けっこう参入障壁の高い技術かも。

コメント

No title

まずはPRMLの第8章グラフィカルモデルの章をしっかり読むのがお勧めです。

Pearl の本は古いしあまりわかりやすくないです。私自身もあまり読んでいません。

No title

ありがとうございます。
学部時代古川先生のAIの講義で学びました。
PRMLも持っています。
Pearl本挑戦してみます。

No title

やっぱりリンクは張れなかった。(^_^;)

No title

とりあえず Pearl, ビショップ、ラッセルの本は、必携だと思います。
Pearl のはベイジアンネットの本、
ビショップのは機械学習全般、
ラッセルのは人工知能全般についての本です。

<a href="http://www.amazon.co.jp/Probabilistic-Reasoning-Intelligent-Systems-Representation/dp/1558604790/ref=sr_1_2?ie=UTF8&qid=1404765657&sr=8-2&keywords=pearl+inference">Amazon.co.jp: Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (Morgan Kaufmann Series in Representation and Reasoning): Judea Pearl: 洋書</a>

<a href="http://www.amazon.co.jp/%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3%E8%AA%8D%E8%AD%98%E3%81%A8%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92-%E4%B8%8B-%E3%83%99%E3%82%A4%E3%82%BA%E7%90%86%E8%AB%96%E3%81%AB%E3%82%88%E3%82%8B%E7%B5%B1%E8%A8%88%E7%9A%84%E4%BA%88%E6%B8%AC-C-M-%E3%83%93%E3%82%B7%E3%83%A7%E3%83%83%E3%83%97/dp/4621061240/ref=sr_1_3?ie=UTF8&qid=1404765505&sr=8-3&keywords=%EF%BC%B0%EF%BC%B2%EF%BC%AD%EF%BC%AC">Amazon.co.jp: パターン認識と機械学習 下 (ベイズ理論による統計的予測): C.M. ビショップ, 元田 浩, 栗田 多喜夫, 樋口 知之, 松本 裕治, 村田 昇: 本</a>

<a href="http://www.amazon.co.jp/%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88%E3%82%A2%E3%83%97%E3%83%AD%E3%83%BC%E3%83%81%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD-%E7%AC%AC2%E7%89%88-S-J-Russell/dp/4320122151/ref=sr_1_fkmr2_1?ie=UTF8&qid=1404765484&sr=8-1-fkmr2&keywords=%E3%82%A8%E3%83%BC%E3%82%B8%E3%82%A7%E3%83%B3%E3%83%88%E6%8C%87%E5%90%91+%E4%BA%BA%E5%B7%A5%E7%9F%A5%E8%83%BD">Amazon.co.jp: エージェントアプローチ人工知能 第2版: S.J.Russell, P.Norvig, 古川康一: 本</a>

No title

なるほど、メッセージについての理解が重要かと思ったのは、
このへんがすっきり定義出来ると実際に実装する際に性能を出しやすい
(計算量的、消費電力的に)と思ったからです。


ベイジアンネットワークについてもっと勉強したいのですが、
どの本がよいかおすすめはあるでしょうか?

須鎗先生の総説(1)と(2)は読みましたがもっと詳しいものが
読みたいです。

(いま、手元にコロナ社から出ている植野真臣さん著のベイジアンネットワークという本があります)

コメントの投稿

トラックバック


この記事にトラックバックする(FC2ブログユーザー)