たにちゅーの思惑｜谷口忠大Home Page（たにちゅー・どっと・こむ）

Tree 構造をつくるノンパラメトリックベイズということで，ちょっと読んでみた．

Pitman-Yor Diffusion Trees

http://arxiv.org/abs/1106.2494

http://mlg.eng.cam.ac.uk/dave/knowles2011uai.pdf

 

個人的には結構おもしろかった．

ツリーを単純につくるというよりは，ユークリッド空間上のガウス過程を考えてあげて

それが，分岐していく という過程の生成モデルになっている．

 

branching の部分がPitman-Yor っぽくて，

dt時間の間に別れるポイントが決定する確率があって，

分かれるときには，既存のルートにいくか，あらたなルートにいくかが

Pitman-Yor  つまり CRPの式で決定する．

 

その結果，各パスがサンプル点に到達する．

それが，hidden な tree structure になっているというお話．

 

inferenceは各パスをblocked gibbs sampler することで，求められるんだね．

LSI –> LDA の流れなど

文章分類などでもベイズといえば，直感的なユークリッド空間上での構成から離れていく

イメージがあったが，ツリーを作るのに，ワザワザ高次元空間上の確率過程を考えるというのが

おもしろかった．

 

Dirichlet Diffusion Tree (DDT)の拡張になっているというお話もあったが，

良い感じに拡張になっているらしい．

こういうtreeの生成モデルでは branching するときに 二分することが多いらしいんですが，

ちゃんと，二分以上 可変数個の分木を生成できるわけで，

僕は，好きだなぁ． と思いました．

 

どっかで，使えたら使いましょうかと．．．

 

でもTree structure 使いたいのって，むしろユークリッド空間じゃない事がおおいんだよなぁ．(´・ω・｀)

 

たにちゅー+Rやで（谷口忠大） ‏ @tanichu

nested CRP と PY diffusion tree じゃ対象が大分ちがうわけですね．

たにちゅー+Rやで（谷口忠大） ‏ @tanichu

• Close

Pitman-Yor Diffusion Tree だいたい分かった．

4:42 PM - 18 Apr 12 via TweetDeck · Details

たにちゅー+Rやで（谷口忠大） ‏ @tanichu

• Close

なるほど．分岐の時にexisting な branch からCRPっぽく選択するのか・・・・．そこで分岐数が可変（潜在的に∞）とできるわけですね． > PYDT

3:47 PM - 18 Apr 12 via TweetDeck · Details

たにちゅー+Rやで（谷口忠大） ‏ @tanichu

• Close

へー．このgenerative process なかなか おもしろいなぁ． なんか，いろいろなトコロでありそう．あるある，なかんじ． PYDT

たにちゅー+Rやで（谷口忠大） ‏ @tanichu

• Close

Pitman-Yor Di usion Treesよむ

2:13 PM - 18 Apr 12 via TweetDeck · Details