たにちゅーの思惑|谷口忠大Home Page(たにちゅー・どっと・こむ)

2017 年 12 月
« 1 月    
 123
45678910
11121314151617
18192021222324
25262728293031

新着記事

最近のコメント

HOME > たにちゅーの思惑 >  研究 > Pitman-Yor Diffusion Trees のメモ

Pitman-Yor Diffusion Trees のメモ

2012-04-19 (thu)|カテゴリー:

Tree 構造をつくるノンパラメトリックベイズということで,ちょっと読んでみた.

Pitman-Yor Diffusion Trees

http://arxiv.org/abs/1106.2494

http://mlg.eng.cam.ac.uk/dave/knowles2011uai.pdf

 

個人的には結構おもしろかった.

ツリーを単純につくるというよりは,ユークリッド空間上のガウス過程を考えてあげて

それが,分岐していく という過程の生成モデルになっている.

 

image

branching の部分がPitman-Yor っぽくて,

dt時間の間に別れるポイントが決定する確率があって,

分かれるときには,既存のルートにいくか,あらたなルートにいくかが

Pitman-Yor  つまり CRPの式で決定する.

 

その結果,各パスがサンプル点に到達する.

それが,hidden な tree structure になっているというお話.

 

inferenceは各パスをblocked gibbs sampler することで,求められるんだね.

LSI –> LDA の流れなど

文章分類などでもベイズといえば,直感的なユークリッド空間上での構成から離れていく

イメージがあったが,ツリーを作るのに,ワザワザ高次元空間上の確率過程を考えるというのが

おもしろかった.

 

Dirichlet Diffusion Tree (DDT)の拡張になっているというお話もあったが,

良い感じに拡張になっているらしい.

image

こういうtreeの生成モデルでは branching するときに 二分することが多いらしいんですが,

ちゃんと,二分以上 可変数個の分木を生成できるわけで,

僕は,好きだなぁ. と思いました.

 

どっかで,使えたら使いましょうかと...

 

でもTree structure 使いたいのって,むしろユークリッド空間じゃない事がおおいんだよなぁ.(´・ω・`)

 

たにちゅー+Rやで(谷口忠大)たにちゅー+Rやで(谷口忠大)@tanichu

nested CRP と PY diffusion tree じゃ対象が大分ちがうわけですね.

たにちゅー+Rやで(谷口忠大)たにちゅー+Rやで(谷口忠大)@tanichu

Pitman-Yor Diffusion Tree だいたい分かった.

4:42 PM - 18 Apr 12 via TweetDeck · Details

たにちゅー+Rやで(谷口忠大)たにちゅー+Rやで(谷口忠大)@tanichu

なるほど.分岐の時にexisting な branch からCRPっぽく選択するのか・・・・.そこで分岐数が可変(潜在的に∞)とできるわけですね. > PYDT

3:47 PM - 18 Apr 12 via TweetDeck · Details

たにちゅー+Rやで(谷口忠大)たにちゅー+Rやで(谷口忠大)@tanichu

へー.このgenerative process なかなか おもしろいなぁ. なんか,いろいろなトコロでありそう.あるある,なかんじ. PYDT

たにちゅー+Rやで(谷口忠大)たにちゅー+Rやで(谷口忠大)@tanichu

Pitman-Yor Di usion Treesよむ

2:13 PM - 18 Apr 12 via TweetDeck · Details

コメントの投稿




*


下記のタグが使用できます。
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <img localsrc="" alt=""> <pre lang="" line="" escaped="">

インフォメーション



tanichuの著作

copyright © Tadahiro Taniguchi All Right Reserved.