珍しく研究ネタです。



今日、離散空間、いわゆるGrid空間でのQ学習をプログラムしてみた。

今書いてる論文の簡単な例題として使うつもりだったんだけど。



いままで、強化学習は連続空間でしかやったことがないという、変わり者の

ワタクシ。



ヨノナカでは一番、このGrid空間って奴がやられてるんですが、

実際、プログラムしてみると

「めっちゃ簡単。」



連続空間で問題になるような学習における汎化性の問題なんて、しったこっちゃない

って感じで計算が収束していく・・・。



一日で、まとまった結果が出せてしまいました。あーこりゃこりゃ。



近々Q学習の連続空間への拡張をやるんだけど、まあ、その前哨戦といったところでしょうか？



ちなみに、elgibility traceを導入すると、ほとんど報酬分配の効果のないQ(λ)以外では

Q学習の本質的利点である、方策非依存性が消えてしまうことが発覚。 あー、そらそうか・・・・。

その辺の証明はわかってないので、上手く与える方法があるかもしれないけど、

ちょっと勉強セナならんなあ・・・。

日本対北朝鮮

前半は、ボールがとまりまくって、熟孝×パスまわし　という、悪いときの
日本らしいサッカーでした。
「大黒だろ、大黒～」
いつもなら、中村・中田・小野あたりがクリエイティブにパスを裁いてチャンスを作るんでしょーが居ない。
稲本がその役をやる司令塔として動いてたんだけど、それがボールを止める止める～。

うぬー！フラストレーション。
北朝鮮が鉄壁だったのはわかるけど・・・。

とにかく前線で一対一とかでプレッシャーをかける必要があろう！
サントスがおったらサイドで一対一で穿り回したりするんだろうけど、それも出れないし。

ここは、ハングリーかつゴールに対する意識が強い大黒だすしかないでしょ、
前回の経験で北朝鮮もイヤだろうし！！

・・・と、おもったら後半から大黒投入～。
よーし！！

案の定、ぶっちょうずらで走り回る大黒。
早いし、冷静だし、しつこいし。サイコー。

一点目柳沢、二点目をラストで大黒。

途中、北朝鮮が攻めに転じてきたのに、日本が戻りが遅い時間帯が
ちょっとこわかったけど、ワールドカップ出場決定だーーー！

大黒かっこええわああ。
最近、代表一番のお気に入りかも。
あと、お気に入りは中沢です。んで、俊輔かな。

じゃ、そいうことで。
せっかくなら一位つうかしませう。

今朝、ねながらメッチャねごと言ってたらしい。

いやあ、結婚して初めて知るこの事実。



なんか、難しい数式らしきものを口にしていたらしい。

あと、めっちゃ

「そこは攻めるとこやろ！」

とかいってたらしい。

なんのこっちゃら。



寝てるときに失言しないようにしないと・・・。

今日から新婚生活が始まりました。

新居の掃除でヨメはおおいそがし。

綺麗好きさんだからなあ・・・。

ちらかりまくった中でも生活できるＯ型の私とは違い・・・。



にしても時差ぼけがネムイ。

よるは5時まで寝れなかった。

みなさーん！
お久しぶりです。
一週間ぶりにハネムーンのカナダから帰ってきました。
カナダでは恐ろしいほどの移動量であっちこちらへツアーに
引き回されつつ、ナイアガラの滝にコロンビア大氷原、レイク・ルイーズに
バンフスプリングスホテルと回るべきところをまわってきました。

しかし、新婚旅行は疲れる。

みなさんも、新婚旅行はあまり疲れないところにいくことをお勧めしますよ おきにいりだったのはナイアガラの滝の「風の洞窟」ですかね
マジで間接的にですが、ナイアガラの滝にうたれることが出来る場所で
「ナイアガラの滝に打たれに行ってきます！」
といってた私には、うってつけの場所でした。
まあ、直接にうたれると死ぬし

やー、披露宴おわったおわった。 そんな気持ちもどこえやら。



実は、終了時刻が披露宴ですでに1時間オーバー！

定刻の二次会スタートまであと15分！！



しかし、今回、すばらしい二次会幹事団が、僕らの知らぬ間にすばらしい

二次会を用意してくれていたワケデ！



映像あり、踊りあり、サプライズあり！！


結婚式・披露宴もよかったが、ここまで、手の込んだことをしてくれる

二次会をオレは見たことがなかった！！

ラインダンスおどっちゃうよホント。



テッサン、カオリン、ダンチョ、サッチャン

さんきゅーでございました。涙涙の感謝です。



持つべきものはトモ！

そして、きてくれた多くの最強の友人たち、後輩達！ありがとう！！

そしてそして、披露宴をウエスティン都ホテル京都の葵殿で
とりおこないました。

本当に多くの方にご参列いただき、とても興奮しながらある意味、ずっとエクスタシー状態で
高砂の席に座っていました。
最後のほうに僕が”My love is your life”
（知ってる人は知ってるワシのオリジナル曲）
を、さらに最後にシメの言葉をはなさねばならなかったので、なかなか気を抜ける隙はございませんで、折角出てきたイセエビも食えへんかった・・・。

後半戦はワシの中高時代からツレ友人のスライドショーを使ったトークに、よめの友人の歌。
そして、トラグルのメンバーでアカペラで初公開”My love is your life”そして、嫁さん＋弟さんお「あなたが好きで」（森山良子）

ワシもがんばったが、特にヨメさんの「あなたが好きで」は弟さんのピアノにあいまって、「お、なんか降ってきてるな～」という出来で、その前にうたったあたしゃ完全に食われてしまったかんじでございました。

なんか、どこのディナーショーかしらという雰囲気になったいきおいで、
最後に私と親族代表父のシメの言葉で閉会とあいなったのでございました。

とにかく、きてくれた人にしかわからないゴッツライブ感のある大変良い宴になりました。
（これなかった方、また、ご招待できなかった方、近日ＤＶＤ入手予定です・・）

サイコー

ウエスティン都ホテルの宴会玄関から都ホテルタクシーにのり、
二人で坂道をあがり、チャペルグレースへ。

神父さんのお導き、そして媒酌人椹木先生ご夫妻のお助けをうけつつ
また、100人近い親族・友人の見守る中、ふたりは共に生きる
誓いをしたのデス

お天気はヨメの晴れ女っぷりを最大限に発揮し、週間天気予報では
曇りのち雨だったところを快晴に

実は、バージンロードを歩くヨメとヨメ父を待ってるときに
なきそうになりました。

オレ早ッ！

さっき完了してきました。

特に問題なく完了しました。

いやあ、現実感ないなあ。



あしたは、それを現実感たらしてくれる宴になるでしょう。

だからといってなんにも無いんですけどね。
なんとなく感慨にひたってみたりする。

そんなときに、なぜか二ヶ月ほど前に投稿した論文の査読結果がかえってくる。
うーん。こんなときに仕事をふってこさすなよ・・・。

心のお荷物がふえちゃったじゃないか・・・。

まあ、そんなことで、変わらぬ夜。

しかし、婚姻届に父親のサインをもらい忘れていることが、発覚。
イかーーーーーん！