PRML（パターン認識と機械学習）読書会に参加しました

研究

近代的な機械学習のバイブル的存在であるPRMLの読書会に参加してきました。

パターン認識と機械学習 上 - ベイズ理論による統計的予測

パターン認識と機械学習 上 - ベイズ理論による統計的予測

パターン認識と機械学習 下 - ベイズ理論による統計的予測

パターン認識と機械学習 下 - ベイズ理論による統計的予測

PRMLの高い評判については各所で挙がっている通りですが（あれだけ高額な書籍なのに上巻はもう第４版。またAmazonでは現在品切れ状態）、題材が題材だけに参加者のモチベーションも高く、実に有意義な時間を過ごすことができました。また、私自身次回の読書会にて、第２章前半の一部の講義を担当することになりました。第２章前半では、beta/dirichlet分布など指数型分布族の事前共役分布を中心的に扱います。階層ベイズモデルのちょうど入口となるパートだけに責任重大ですね。

なお、開催者の方もおっしゃってましたが、この読書会は基本的にBest-Effort型で進行しています。したがって発表者および聴講者にPRMLがカバーするすべての領域に精通していることを最初から求めていません。というか機械学習を本職で研究している人でもない限り、普通は部分的にしかカバー出来ないと思います。ですので参加メンバーはある程度流動的であることを前提に、様々な職種の人たちが知恵を出し合って進めていくと、持続的な展開になるのではないかと思います。個人的には読書会の異業種交流会的なノリが楽しいです。

Wolfram AlphaはGoogle登場以来の衝撃なるか？

研究

計算ソフトでは定番のMathematicaを生んだStephen Wolframによる検索エンジンWolfram Alphaが話題になっています（５月リリース予定）

Google登場以来の衝撃かどうかは、実際に触ってみなければ何とも言えないですが、あのMathematicaだけに正直畏怖を感じますね。Webを活用した社会統計の分析は今後ますます加速するでしょう。

ところで集合知を用いた知識獲得については、Googleの検索クエリ分析によるインフルエンザ流行予測が有名ですが、SIGKDDなど知識獲得系のトップノッチの学会では、映画館のセールスを予測したり、Amazonの商品ランキングを予測したりと身近な題材も扱うようになってきています。

またGやYはもちろんMSもこの分野には相当気合いを入れていて、MSNの検索クエリやメッセンジャー上でやり取りされるチャットデータとの相関を分析したりと、スケールの大きな論文を出してます。

日本の社会統計事情については、先日のRIETI政策シンポジウムの出口さんのプレゼン資料が参考になるでしょう。いずれ社会会計は、民間の天気予想のようになる、とGoogle GDPの登場を予言しています。

とにかくこの分野は、スピードが早すぎてついていくだけでも大変です。まとまってませんが、こんなところで。

ぐにゅナビとテキストマイニング関連イベント３連発

研究

NTTCS研が最近公開した感性解析レコメンド技術ですが、様々なメディアに取り上げられているみたいですね。今や集合知に基づくレコメンド技術は雑誌の特集を飾るほど注目を浴びている分野ですし、自分を含めたくさんの研究者が取り組んでいるのを知っていたので、今更なにが来ても驚くまいと心を決めていたつもりですが、やっぱ身が引き締まります。こういうのは。

ただ、ぐにゅナビでやっているようなテキストマイニングは、従来の購買履歴や販売実績に基づくレコメンド技術の代替というよりも、むしろ相互に補完しながら使うべきものではないかなと思います。数字は重要、でも数字だけ眺めてもなかなか見えてこない商品属性や関心推移をテキストから捉える必要はあって、しかしそんな内部処理をユーザーに意識させることなく、どう自然にターゲットまでの最短距離を導くか？まぁ結果を出せてない自分がいくら語ったところで、絵に書いた餅に過ぎないのですが(><)、いつかはぐにゅナビの遥か先を行くものを実現させたいと思ってます。

また今週末から来週頭にかけて、テキストマイニングに関連するイベントが盛んなので、この機会にしっかりと先人の知見を吸収しておきたいですね。

ゲームと自然言語処理の交差点

研究

SIG-KBS当日の話なんですが、「NLPは（自分がやっているような）マーケティング方面の研究以外にゲームとの関連はあるのですか？」と尋ねられたので、この機会にまとめたいと思います。
他にもある、これは間違っているなどの指摘がありましたらどしどしコメントの方にお寄せください。

機械翻訳

海外の事例は調査中ですが、KJMILUという日本語と韓国語の翻訳エンジンを搭載したオンラインゲームの事例があります。翻訳精度などの課題はありますが、こうした事例は将来言語教育やOJTの標準プラットフォームに化ける可能性もあるので、注目しておいても損はないかと思います。

リップシンク

（フェイシャルモーションキャプチャが使えない）架空のキャラクターを喋らせる場合欠かせないのが、音声認識によるリップシンクです。もちろん音声認識の根幹には形態素解析などのNLPが介在します。ゲーム開発向けミドルウェアとしては例えばFaceFXがあります。Googleコーパスなどが活用できる分野の１つだと思います。

ジャスチャ・顔表情生成

2001年のSIGGRAPHに採択されたMITのBEATが有名です。またBEATはいわゆる一人称モデルですが、後にコミュニケーションに着目したものがEUROGRAPHICSで採択されています。実際のゲームでの活用事例は知らないのですが、NPCの自動制御アルゴリズムとしてAi Game Programming Wisdomなどにて引用されている事例が散見されます。

音声合成

音声は録音したものを使うのが一般的ですが、携帯ゲーム機のようにメディアの記憶容量に大きな制約がある場合、テキストからの自動音声合成技術が活用されるケースがあります。実際にRuby TalkというミドルウェアがNintendoDSの教育ソフトに採用された実績があります。ただこちらはNLPというよりは、機械学習のスキルが問われる分野と言えるかもしれません。

まとめ

個人的にはNLPそのものよりも、NLPを介して得られる集合知の活用に興味があります。例えば統計的機械翻訳(SMT)はこの数年で著しく進歩した技術の１つですが、その背景にはWebという情報源の存在があります。

一方でオンラインゲームにおけるチャットなんかは、現状では単なる「監視対象のログ」でしかありません。しかしこの膨大な情報こそを一種の集合知とみたて、ＣＧやサウンドとも有機的にリンクしながらゲームに反映させれば、何か新しい遊び（or学び）の提案に結び付けられると思います。いつかこのブログで扱いたいテーマの１つですね。

blog分析で映画のヒット現象を解明しよう

マーケティング

様々なマーケティング用途に用いられるblog評判分析ですが、最近では国内でも興味深い分析事例がぽつぽつ出てき始めています。デジタルハリウッド大学で教職を務める吉田先生の映画ヒット現象の分析は、まさにその代表格で、特にPN判定割合と興行収入の相関分析が興味深い。


PN判定が拮抗している作品は洋画では大ヒット作になることがあるが、邦画ではヒットしない（クラナド・NANA2・大日本人）。例外はNANA。

PN判定が高評価なのに興行収入が上がっていない作品は劇場規模による可能性があり、本来ならばもっと興行収入が伸びた可能性がある（フラガール・クローズZERO）

実は映画に限らず、あるもの(Subject)をある観点(Aspect)で観察したときに、それが議論を呼ぶもの(Controversial)かどうか分析することは、知識獲得の上でかなり重要な位置を占めているのでは？と最近感じています。直感的にも、例えばAmazonなんかでＰＮ判定が拮抗している商品レビューほど参考になったという経験は、多くの人にあるのではないでしょうか？（＋評価ばかりだとサクラの可能性もある。一方、−評価ばかりの商品はやはり大抵はダメ）

そんなわけで、MindFlexは将来この点も加味した分析にも対応したいなと思ってます。

Amazon全商品評判分析計画

研究

Webを使った時系列評判分析はなかなか興味深い情報が得られることがわかってきたので、今はその精度を高めるべくAmazonAPIによる商品情報取得を試みています。

これがある程度実用になると、例えばゲームなら "戦闘が面白いRPG" といった曖昧な表現でランキングリストを作ることができるようになるはずです。

こういう主観性が入り混じったキーワードは従来の検索エンジンが苦手とするところなのですが、商品ジャンル単位の評価表現辞書精緻化や、時系列分析によるWebコーパス特有のバイアス軽減で、なんとか主観と客観の壁を乗り越えられないかと思っています（このあたりが自分の研究テーマに関連しています）

実際にはスケーラビリティなどの問題があるので、Amazon上位xxx以内の商品に限定、といった感じで実験を始める予定です。本音をいえば、Amazonのランキングではなくて、オリコンの情報なんかも絡められるといいなと思うのですが、こちらのAPIは発表はされたものの、まだ実用段階にはなっていないようで、、、ということでオリコンとエンターブレインの２社には使えるAPIの公開をここで強く希望したいと思います！

SilverLight2すごいね

プログラミング

川西さんのブログでSilverlight Toolkitを知ったのですが、いよいよadobe flexに迫ってきましたね。

次のバージョンではH.264に対応するとのことで、機能面での死角はいずれなくなるでしょう。やっぱり、いざやると決めた時のMSのR&D投資力はすごい。v1でflashを追いかけv2でflexに近づき、v3でadobeに並び、v4で追い越すといったシナリオが見えてきそうです。うかうかしているとflashはBorlandの二の舞になりかねないでしょうね。

とはいうものの実際のRIA開発のボトルネックはまだサーバープログラミングに集中しているのが実情。下図は開発中の時系列評判分析アプリ(mindflexと言います。SEO対策）のスナップショットですが、これくらいの規模のGUIならFlexでぱぱっと作れてしまう。基本的にAS3自体は生産性が高いんですよね（国際化対応などは.netに比べると絶望的に弱いけど）

そういう意味でAzureには期待しているのですが、どう考えてもあちらはB2B向けになりそうな雰囲気。また期待していたLinq to SQLもフェードアウトな方向に向かっているみたいですし、サーバーまでMS orientedなのは勘弁な一草の根webプログラマとしては今乗り換えるべき材料に欠ける印象を受けます。

でも(MS製品の中でも一番)期待しています、silverlight。GPU支援でH.264が高速再生できるようになって、YouTubeやニコ動が採用し出したら普及はあっという間だと思いますよ。