メモ:ギブスサンプリングはメトロポリス・ヘイスティングス法の特殊な場合.
ちらちら見ていたこの事実をあまりちゃんと納得していなかった.
最近メトロポリス・ヘイスティングス法を使う事がでてきたので
抑えておかねばと.
は上記 wikipediaでご理解いただくとして,
提案分布
![\displaystyle Q(x'; x^t )](http://upload.wikimedia.org/wikipedia/ja/math/3/8/b/38b98b86b58111163e853ed057785756.png)
を用いて現在のサンプルから,次のサンプルを提案していく.
サンプルの確率が増大すれば,サンプルを採択し,また,低下すると下式右辺の確率で
![\alpha < \frac{P(x')Q(x^t|x')}{P(x^t)Q(x'|x^t)} \,\!](http://upload.wikimedia.org/wikipedia/ja/math/d/1/4/d146e4d6f5450a6796d07fd8cb834195.png)
採択するというもの.(αは [0,1]一様乱数からサンプルすればよい)
ギブスサンプリングは,一変数以外を固定して,その一変数のための事後確率分布を用いて
サンプリングしていくものだが,特に採択とかそういうことがない.
なんとなく,腑に落ちていなかってほったらかしていたんですが(ごめんなさい)
ちょっと調べたらわかった.
http://www.phontron.com/ja/notes/word.php?id=89
(↑一部 受理確率の式に誤記があるので注意)
提案分布Qに 対象の変数の事後確率分布を用いると,綺麗に式がキャンセルされて,
1になるんですね.
ですから,αによらず,常に採択されるというロジックらしいです.
なるほど.
まさに,特殊な場合ですね.
MCMC歴2年.初学者モードですみません・・・・.(^_^)