ALIFE Xも3日目を迎えました．

会期は5日間ですが，僕は明日早朝に発つので，今日が最終日ということになります．

しかし，結局無休できてるので，さすがにつかれてきた．

完全にフル参戦しているわけではないですが，朝9時から夜10時まで（そこまでないひもあるけど）
人の話を聞いてるっつーのは結構タフ．

それに，時差もあるし・・・・．

時差はもう直すのをあきらめました．むしろ，今から日本基準に向けて，逆戻ししねーと．

帰ったらすぐに東京出張だべなー．ド田舎からド都会だなー．

まあ，つーわけで．

カンファレンス会場がネットにつながるので，合間合間にサーフィンしてます．

そこで，強化学習について大御所Suttonが書いてる文の和訳を発見しました．

（多分有名なんだろうけど，僕はしらんかった．）

ちょっとイカスので引用

－－－－－－－－－－－－－

Ｑ．強化学習 はニューロ動的計画法とどのように関係がありますか?

Ａ．まず大雑把に言えば，強化学習とニューロ動的計画法(Neuro-Dynamic Programming)は同義です．「強化学習」という名称は心理学から来ており(心理学者がこの用語そのものを使うことは稀ですが)，サイバネティクスの初期に遡ります．例えば， Marvin Minsky は彼の 1954 年の論文でこの語を用い，また Barto と Sutton は1980年代の初めにこれを甦らせました．「ニューロ動的計画法」の名称は，この分野をニューラルネットワークと動的計画法の組合せとしてとらえるために，1996 年に Bertsekas と Tsitsiklis によって作られました．

実際にはどちらもあまりこのテーマをよく表しているわけではなく，技術的に正確を期する場合にはどちらも使わないことをおすすめします．このような名前は研究の一般的な主部を参照する場合には便利ですが，概念を注意深く他の概念と区別するのには向きません．その意味では，これらの 2 つの名称が指すものを注意深く区別しようとするのは無駄なことです．

「強化学習」という用語が問題なのは，それが時代遅れだということです．強化学習のほとんど分野は学習には全く関わりはなく，単に問題に対する完全な知識(環境のモデル)からのプランニングに関わりがあるだけです．プランニングと学習に対してほとんど同じ方法が使われていて，この分野の名前で「学習」を強調しているのは的外れのように見えます．「強化」の語もまた，特に適切であるとは思えません．

「ニューロ動的計画法」の名前も同様に問題であるのは，ニューラルネットワークも動的計画法もこの分野にとって重要ではないという点です．モンテカルロ法やロールアウト法といった多くの方法は動的計画法とは全く関係なく，ニューラルネットワークは多くの関数近似方法のうちの一つの選択肢にすぎません．さらに，要素の名前である「ニューラルネットワーク」や「動的計画法」自体が，それぞれの方法をあまりよく表していないとも言えます．

source: http://nao.s164.xrea.com/RL-FAQ-j.html#Who%20invented%20RL
－－－－－－－－－－－－－

言わんとするところはよくわかるが

じゃあ，なんと呼べと・・・・

初のポスター発表＠英語が終わりました．

多分冷静に聞けば，英語はぐちゃぐちゃだったとおもうけど，そこそこ話す事は

出来たと思う．

優良可で可やね

まあ，かなり「これでPhD（博士）とは片腹いたいわ！！」ってかんじですけど

リアルタイムでインタラクションすることの大切さを知らされました．

やっぱり，英会話は面と向かって数人で話す機会が無いとタフさは得られないなぁ．

英会話学校のセッティングされた”優しい”環境では鍛えられる能力に限界が・・・・．

おお！学会会場でAndrew Barto発見！

これで興奮してくれる人が何人ブログをみていてくれるのだろう？

ちなみにCog projectのScasselati(綴りあってるかな？)とかKismetのBrazeelもいます．

ヘギャ！

いきなり弱音ですんません．

でも，まあ，英会話学校（イーオン）とは違いますわ．

情け容赦ない早口に，滑舌の悪い人もいて，さらに単語と単語を繋げるの当たり前．

しかも状況はリアルタイムで動いているから，頭で日本語にしてたら間に合わない．

というわけで，慣れるのに数日かかりそうです．

日本と時差が１３時間（サマータイム含む）あるので，今早朝なんですが，

今日は初めての英語でのポスターセッションもあるので，どうにかこうにか頑張りたいと思います．

本日・・・つってもなんて長い一日・・・．

8時半にヤサカタクシーの関空行きのシャトルに迎えてもらって関空へ．

名神工事のため，奈良に迂回で到達．

飛行機にのってしゅっぱーつ．・・・・１３時間．

ぐへー

で，アメリカ入国！

テロ対策か，なんかしらんが，チェック厳しすぎ！！
そして，処理が遅すぎ！！！！

入国審査通のに４０分以上待たされる．
左右の指紋採られて顔写真取られて，めっちゃ引っかかる金属探知機みたいなんにとおらされて
荷物も再チェック．

うーん．そこまで安全に気を遣うなら，その前に銃所持を禁止してくれ．

そして，ぴょーんとインディアナポリスへ．

さらにシャトルバスに乗り換えて，どいなかBloomingtonに到着．

これは，他に遊びようの無い場所にきてしまった・・・・・・・．
英会話の武者修行だとおもってがんばってきますわ．

しかし，初日から日本人の知り合いと合流しまくってしまった為に・・．日本語に逃げてしまいそうな予感・・・

明日から，１０日ほど日本を離れ，アメリカの内陸，インディアナ州のBloomingtonという，
「地球の歩き方」にも載っていない街にカンファレンスで出張して参ります．

アメリカは大学二年の時に行って以来の気がする．

今回は英語でのポスター発表もあり，果たして英語が通じるのか不安ですが，
まあ，向こうでもネットがつながるらしいので，また，実況いたしますわ．

むふふふ～

ちゅーわけです．

とりあえず，一年経って，子供も生まれて，引っ越しもして，学位も取って，
まあ，いろいろ有った一年でございました．

今は子供を数時間もほっとけない状況で，特段どっかにいける状況ではないんですが，
嫁さんのお母さんに子供をちょっと見ててもらって，ランチにだけ行ってきました．

ちょっと奮発気味のランチを食ってきたのです．

いやー，一年ってホントはやいもんですねぇ．

今日は兄夫妻，某Yカップル，それと大学時代の研究室の友達夫妻といっぱいの
人がハル君を見にやってきてくれました．

ハル君は昼で「くて～」っとねてしまってましたが，みんなの視線を集めてました．

特に某Y氏はハルタカが名前を一文字頂いていることもあり，

「他人のようなきがしねぇ！」

と，興奮されてました．

いやー．なんて，スバラシイことであるかな．

ここをご覧の皆さん（知り合いに限る）も是非，また，遊びに来てくださいね．

に，初めて出席した．

前住んでたところは完全に賃貸だったので，総会なんてなかったけど，今度の所は
基本分譲なので，総会があるのです．

５０世帯の内，出席していたのは10人くらいだったけど，管理会社の人相手に
喧々囂々！

共同生活って，なかなかハードみたいやねえ．

みんなの顔が見えたらもっと上手くできるのかもしれないけど，
マンションってお互いがかなり遮断されていて，それなのに利害を共有しないといけない
って・・・・．難しい・・・．

僕は初めての参加で，ただ座っていただけだったけど，いろいろお勉強になりました．
ちりーん