今回の特集は「科学技術計算におけるソフトウェア自動チューニング」と「研究会推薦博士論文速報」です．
情報処理, Vol. 50, No. 6
- 特集 科学技術計算におけるソフトウェア自動チューニング ソフトウェア自動チューニングの数理.
須田礼仁.強化学習やSVMの学習パラメーターをチューニングするときにも参考になりそうな話． 式は出てこないので，実際に使うには参考文献を読む必要あり．
2009年6月アーカイブ
オーガナイズド・セッション「ファイナンスにおける人工知能応用」で発表しました．
- 強化学習を用いた金融市場における日次取引戦略の獲得.
松井 藤五郎 (とうごろう機械学習研究所), 畔上 康一 (キヤノン), 後藤 卓 (三菱東京UFJ銀行), 和泉 潔 (産業技術総合研究所), 大和田 勇人 (東京理科大学).
この研究は，第二著者の畔上くんが東京理科大学で行った卒業研究をベースにしたものです． 日次取引では土日祝日などの市場休日によって取引間隔が一定でなくなるため，profit sharing強化学習法の割引率を時間間隔に応じて変化させることを提案したものです．
今回，初めてiPhoneのKeynote Remoteを使ってプレゼンしました．
Macを使っている人は結構いましたが，Keynote Remoteを使っている人は見かけませんでしたので，珍しかったと思います．
その他，共著として次の発表を行いました．
- テキスト情報による金融市場変動の要因分析.
和泉 潔 (産業技術総合研究所), 後藤 卓 (三菱東京UFJ銀行), 松井 藤五郎 (とうごろう機械学習研究所). - 評判抽出のためのブログ分類手法の比較検討.
森田 悠基 (東京理科大学), 松井 藤五郎 (とうごろう機械学習研究所), 大和田 勇人 (東京理科大学). - Web情報を利用した関連企業のクラスタリングと可視化.
前田 亮 (東京理科大学), 松井 藤五郎 (とうごろう機械学習研究所), 大和田 勇人 (東京理科大学). - Wikipediaを類義語辞書として用いた企業クラスタリング.
山田 裕文 (東京理科大学), 松井 藤五郎 (とうごろう機械学習研究所), 大和田 勇人 (東京理科大学). - ILPにおける制約論理プログラムに基づいた数値を含むデータからの学習.
鈴木 匠 (東京理科大学), 松井 藤五郎 (とうごろう機械学習研究所), 大和田 勇人 (東京理科大学). - ネットオークションにおける不正検出に関する考察.
吉田 剛 (東京理科大学), 松井 藤五郎 (とうごろう機械学習研究所), 大和田 勇人 (東京理科大学). - CLPを用いたナース・スケジューリング問題における実用解の効率的探索.
西川 理規 (東京理科大学), 松井 藤五郎 (とうごろう機械学習研究所), 大和田 勇人 (東京理科大学). - 帰納論理プログラミングにおける仮説探索の効率化・大規模化の比較検討.
池田 晃 (東京理科大学), 松井 藤五郎 (とうごろう機械学習研究所), 大和田 勇人 (東京理科大学).
最終日の午後，私が共同でオーガナイザーを務めたオーガナイズド・セッション「ファイナンスにおける人工知能応用」を行いました．
発表はテキスト・マイニングに関するものが3件，（GAや強化学習を含む）時系列データ分析に関するものが5件，教育支援に関するものが1件でした． （公式プログラムはこちら．）
- 招待講演 クレジット市場におけるヘッドラインニュースの効果.
上瀧 弘晃, 高橋 悟 (中央三井アセット信託銀行), 高橋 大志 (慶應義塾大学). - 企業業績要因文の経常的か否かに基づく分類とイベントスタディ法に基づく分析.
藤村 真太郎, 酒井 浩之, 増山 繁 (豊橋技術科学大学). - テキスト情報による金融市場変動の要因分析.
和泉 潔 (産業技術総合研究所), 後藤 卓 (三菱東京UFJ銀行), 松井 藤五郎 (とうごろう機械学習研究所). - GAによる株取引戦略獲得における指標とパラメータのコーディング法に関する検討.
松井 和宏, 佐藤 晴夫 (日本大学). - 強化学習を用いた金融市場における日次取引戦略の獲得.
松井 藤五郎 (とうごろう機械学習研究所), 畔上 康一 (キヤノン), 後藤 卓 (三菱東京UFJ銀行), 和泉 潔 (産業技術総合研究所), 大和田 勇人 (東京理科大学). - 機械学習における再帰的ステップサイズパラメータ調整法を用いた価格変動の分析.
松井 宏樹 (シーエムディーラボ), 野田 五十樹 (産業技術総合研究所), 尹 煕元 (シーエムディーラボ). - 板情報を用いた株式市場の時系列データ分析法.
西岡 寛兼, 鳥海 不二夫, 石井 健一郎 (名古屋大学). - 株価データからのマーケット・センチメントの予測とトレードへの応用.
海野 和則, 山田 隆志, 寺野 隆雄 (東京工業大学). - ビジネスゲームによる投資選択と資本構成決定問題の学習.
山下 泰央 (東京工業大学), 高橋 大志 (慶應義塾大学), 寺野 隆雄 (東京工業大学).
大学の研究者だけでなく企業からも参加していただき，みなさんのおかげでセッションをつつがなく執り行うことができました．
ありがとうございます．
6月17日から19日にかけて高松で行われた人工知能学会全国大会の三日目に参加しました．
午前はプログラム委員として発表の評価を担当したデータ・マイニングのセッション2つ，午後はオーガナイザーを務めたオーガナイズド・セッション「ファイナンスにおける人工知能応用」に参加しました．
また，このオーガナイズド・セッションで発表しました．
フリーランスになってから初めて参加した今年の全国大会も，これまでと変わらず研究意欲を高めてくれるとてもいい学会でした．
人工知能学会より研究会優秀賞をいただき，全国大会で表彰されました．
受賞の対象となったのは，産業技術総合研究所の和泉潔さん，三菱東京UFJ銀行の後藤卓さんと共同で行った「テキスト情報による複数金融市場の分析」です．
これを励みにして，強化学習を用いた取引戦略の獲得に関する研究の方でも認めていただけるように頑張ります．
6月17日から19日かけて高松で行われた人工知能学会全国大会の二日目に参加しました．
人工知能の父と呼ばれるMarvin Minskyさんの特別講演がありました．
残念ながら，人工知能研究に対する批判（と近日出版される訳本の宣伝）しか理解できませんでした．
続いて，サイバーダイン社を設立してロボット・スーツを開発している筑波大学の山海嘉之さんによる招待講演がありました．
一つの技術だけでは実現できないからだとはいっても，研究の幅がものすごく広いことに驚きました．
最後に，会員交流会に参加しました．
最初に功績賞を受賞された大阪大学の鷲尾隆さん，人工知能学会のフェローとなられた公立はこだて未来大学の中島秀之さん，米国空軍の元田浩さん，大阪大学の溝口理一郎さん（功績賞を同時受賞）がスピーチされました．
面白い研究ができる人は面白い話もできるのがすごいです．
香川には骨付きの鶏もも肉を丸ごと焼いた「骨付鳥」という食べ物があるということで，居酒屋でいただきました．
「おや」と「ひな」の二種類があり，お店の人に聞いたらおやは固くてひなは柔らかいとのこと．
ビールに合ってイイです．
6月17日から19日にかけて高松で行われた人工知能学会全国大会（一日目）に参加しました．
一日目は，人工知能学会の会長である東京大学の堀浩一さんが「人工知能研究の過去，現在，近未来，遠い未来」というタイトルで基調講演をされました．
「人工知能学者だったらPowerPointやKeynoteでプレゼンするのではなく，自分で作ったツールでプレゼンすべき」といって，ご自分で作成された「Knowledge Nebula Crystallizer」というツールでプレゼンをされました．
このツールは，過去に作成したファイルの中から現在表示しているテキストに関連するものを見つけてきてリンクを作成するというもので，質問をその場でメールで受け付けてその内容に関するファイルを示して答えていました．
全体としては「小さい研究テーマに固執しないで大きな研究テーマにチャレンジしよう」というお話でした．
ここでいう小さい研究テーマとは「機械学習アルゴリズムの分類精度を向上させる」という類いのもので，大きい研究テーマとは「人間と同じ考え方を実現する」という類いのものです．
とても面白い講演でした．
人工知能学会全国大会の前日準備とプログラム委員による飲み会の後，「鶴丸」にカレーうどんを食べに行きました．
多くの有名店が昼だけの営業なのにここは夜もやっているので，以前に四国旅行したときも来たことがあります．
あっさりしたカレーうどんで，飲んだ後に食べるにはいいです．
より大きな地図で とうごろぐ オススメのお店 を表示
6月17日から19日にかけて行われた人工知能学会全国大会に参加するため，高松に行きました．
香川と言えば「讃岐うどん」ということで，到着早々うどんを食べに屋島の「わら家」に行きました． ネットでの評判がいい（たとえばここ）ことと，午後から夕方にかけてもやっていることから，このお店を選びました．
釜揚げうどん（写真上）は大きなつぼで出されたつゆにいりこだしが効いていておいしかったです．
生じょうゆうどん（写真下）は麺のおいしさを実感できました．
より大きな地図で とうごろぐ オススメのお店 を表示
Twitterで「最近の強化学習事情はどうでしょうか？」と聞かれたので，調べてみました．
ICML 2009
- 機械学習国際会議（International Conference on Machine Learning）
- http://www.cs.mcgill.ca/~icml2009/
強化学習に最も関係が強い国際会議です． 今年は6月14日から18日までモントリオールで開かれます．
今年は強化学習に関するセッションが3つあります． （昨年は6つもありました．）
1C - Exploration in Reinforcement Learning
- The Adaptive k-Meteorologists Problem and Its Application to Structure Learning and Feature Selection in Reinforcement Learning.
Carlos Diuk, Lihong Li and Bethany Leffler.- Near-Bayesian Exploration in Polynomial Time.
J. Zico Kolter and Andrew Ng.- Optimistic Initialization and Greediness Lead to Polynomial Time Learning in Factored MDPs.
Istvan Szita and Andras Lorincz.- Dynamic Analysis of Multiagent Q-learning with e-greedy Exploration.
Eduardo Rodrigues Gomes and Ryszard Kowalczyk.- Hoeffding and Bernstein Races for Selecting Policies in Evolutionary Direct Policy Search.
Verena Heidrich-Meisner and Christian Igel.3C - Reinforcement Learning with Temporal Differences
- Proto-Predictive Representation of States with Simple Recurrent Temporal-Difference Networks.
Takaki Makino.- Regularization and Feature Selection in Least Squares Temporal-Difference Learning.
J. Zico Kolter and Andrew Ng.- Fast gradient-descent methods for temporal-difference learning with linear function approximation.
Richard S. Sutton, Hamid Reza Maei, Doina Precup, Shalabh Bhatnagar, David Silver, Csaba Szepesvari, Eric Wiewiora.- Kernelized Value Function Approximation for Reinforcement Learning.
Gavin Taylor and Ronald Parr.- Constraint Relaxation in Approximate Linear Programs.
Marek Petrik and Shlomo Zilberstein.5C - Reinforcement Learning in High Order Environments
- Binary Action Search for Learning Continuous-Action Control Policies.
Jason Pazis and Michail Lagoudakis.- Predictive Representations for Policy Gradient in POMDPs.
Abdeslam Boularias and Brahim Chaib-draa.- Stochastic Search using the Natural Gradient.
Sun Yi, Daan Wierstra, Tom Schaul, and Juergen Schmidhuber.- Approximate Inference for Planning in Stochastic Relational Worlds.
Tobias Lang and Marc Toussaint.- Discovering Options from Example Trajectories.
Peng Zang, Peng Zhou, David Minnen and Charles Isbell.
1Cと3Cは古くからの話題で，5Cが新しい話題です．
UAI 2009
- 人工知能における不確実性に関する国際会議（International Conference on Uncertainty in Artificial Intelligence）
- http://www.cs.mcgill.ca/~uai2009/
人工知能がメインの国際会議です． 今年はICMLと一緒に6月19日から21日まで開かれます．
ここでも強化学習に関するセッションが1つあります．
Reinforcement Learning
- Regret-based Reward Elicitation for Markov Decision Processes.
Kevin Regan, Craig Boutilier.- A Bayesian Sampling Approach to Exploration in Reinforcement Learning.
Michael Littman, Lihong Li, Ali Nouri, David Wingate, John Asmuth.- New inference strategies for solving Markov Decision Processes using reversible jump MCMC.
Matt Hoffman, Hendrik Kueck, Nando de Freitas, Arnaud Douce.- Censored Exploration and the Dark Pool Problem Kuzman Ganchev, Michael Kearns, Yuriy Nevmyvaka, Jennifer Wortman.
RL Competition 2009
- 強化学習コンペ（Reinforcement Learning Competition）
- http://2009.rl-competition.org/
強化学習のプログラム（アルゴリズム）を競う大会です． ICML/UAIの併設ワークショップで，この大会の報告会と決勝戦が行われます．
このコンペには，次の6つの種目があります（詳細はこちら）．
競技種目
- バランス・ロボット制御（Acrobot）
- テトリス（Adversarial Tetris）
- ヘリコプター操縦（Helicopter）
- スーパー・マリオ（Infinite Mario）
- タコの足（Octopus Arm）
- 汎用エージェント（Polyathlon）
MSRL
- 強化学習に関する総合的（学際的・分野横断的）シンポジウム（Multidisciplinary Symposium on Reinforcement Learning）
- http://msrl09.rl-community.org/
ICML/UAIに集まる強化学習の研究者たちが情報交換をするためのシンポジウムを行うみたいです．
発表者リストには強化学習の分野で活躍している人たちの名前が並んでいます．
発表者
- Rich Sutton (University of Alberta, Canada)
- Wolfram Schultz (University of Cambridge, UK)
- Gerald Tesauro (IBM Research, USA)
- Andrew Ng (Stanford University, USA)
- Dimitri Bertsekas (Massachusetts Institute of Technology, USA)
- Read Montague (Baylor College of Medicine, USA)
- Warren B. Powell (Princeton University, USA)
- Peter Dayan (University College London, UK)
- Terrence Sejnowski (The Salk Institute and the University of California, San Diego, USA)
- Ben Van Roy (Stanford University, USA)
- Andrew Barto (University of Massachusetts, Amherst, USA)
IJCAI-09
- 人工知能合同国際会議（International Joint Conference on Artificial Intelligence）
- http://ijcai-09.org/
2年に一度行われる人工知能分野で最も重要な国際会議です． 今回は7月11日から17日までカリフォルニアで行われます．
ここでも強化学習のセッションが1つあります．
REINFORCEMENT LEARNING
- Autonomously Learning an Action Hierarchy Using a Learned Qualitative State Representation.
Jonathan Mugan, Benjamin Kuipers.- Active Policy Iteration: Efficient Exploration through Active Learning for Value Function Approximation in Reinforcement Learning.
Takayuki Akiyama, Hirotaka Hachiya, Masashi Sugiyama.- Efficient Skill Learning using Abstraction Selection.
George Konidaris, Andrew Barto.- Inverse Reinforcement Learning in Partially Observable Environments.
Jaedeug Choi, Kee-Eung Kim.
ブラウンGPのスゴさは驚異的としか言いようがありません．
バトンとブラウンGPが今年のチャンピオンになるのはほぼ確実なので，今はFOTAとFIAの争いの結末が一番の楽しみです．
- F1-Live.com: バトンが圧巻の4連勝! レッドブルが2-3、トヨタ ダブル入賞（トルコGP - 決勝）
- F1-Live.com: ベッテルがポール! ブラウンGPが2-3（トルコGP - 予選）
- F1-Live.com: FIAの出方を待つFOTA 2010年エントリーリスト待ち
4月に四街道，松戸に続く千葉県3店目がオープンしました．
横綱ラーメンのスープに魚を足した感じで，麺はラーメンのものとは違うものです．
横綱の「一つの味だけで勝負」ってところが気に入っているので，味をアレンジしたつけ麺はなくてもいいです．
より大きな地図で とうごろぐ オススメのお店 を表示
前作までと同様に映像と音で魅せる映画でそれなりに楽しめます．
ただし，全体的にやり過ぎな感じです．
古代ローマ史と数学（とコンピューター・サイエンス）に関する伏線は，日本語の字幕では（たぶん吹き替えでも）わかりにくいです．
