IBMの質問回答システムWatsonが凄過ぎる件

海外では盛り上がっているようなのに、日本では全然なので書いてみた。

Watsonとは


WatsonはIBMが開発した質問回答システム。自然言語のテキストによる質問入力に対して、答えを返す。IBMのGrand Challengeという計画によって開発された。同じGrand Challengeでかつて開発されたシステムに、チェスの世界チャンピオンを破ったDeep Blueがある。Watsonの目標は、クイズ番組"Jeopardy!"で人間のチャンピオンに勝利すること。

Jeopardy!とは

Jeopardy! - Wikipedia, the free encyclopediaに解説と詳しいルールが載っている。かなり歴史ある番組。よくあるパネルを選択する早押しクイズで、正解するとパネルに書かれた賞金がもらえ、不正解だと同じ額を手持ちから失う。最後に最も多くの賞金を稼いだプレーヤーが勝つ。
Watsonと対戦するのは、史上最多の74連勝を誇るKen Jenningsと最多賞金獲得者のBrad Rutter。Jeopardy!の世界チャンピオンと言っていい2人だ。

Watsonのどこが凄いのか


その1、Watsonはネットワークに接続されていない。回答はすべて手持ちのデータベースの知識とアルゴリズムによって、計算される。たぶん多くの人がWatsonがインターネットに繋がっていると誤解しているのではないかと思う。
その2、WatsonはJeopardy!の問題をきちんと理解できる。いわゆる自然言語処理と呼ばれる分野だ。Jeopardy!の問題は複雑で、もちろんコンピュータを意識して作られていない。スラングあり、省略あり、の自然言語処理にとって過酷なテキストだ。「ニュージーランドの2番目に大きな都市は?」といった単純に知識を問う問題から、なぞなぞのような難しい問題もある。例えば、Watsonが本番で正解した問題に次のようなものがある。

EVEN A BROKEN ONE OF THESE ON YOUR WALL IS RIGHT TWICE A DAY
(壁にかかっていて、壊れていても1日2回は正しいもの)

これはことわざにかけた問題で、答えは"Clock"なのだが、これを素早く正解するのは凄い。
その3、Watsonはリスクを管理できる。Jeopardy!では、間違えると手持ちの賞金が減ってしまう。そこで、答えに自信がない場合は、答えずパスするということも必要になる。Watsonは答えを探すと同時に、その根拠も同時に探し、答えに対する自信度を計算している。

本番での戦いで見えてくるもの


Watsonはほぼゲームを支配し、大差をつけて勝利した。しかし、いくつかの興味深いミスを犯し、また苦手分野も明らかになった。
意外なことに、Watsonは単純な早押し問題に弱かった。特に"ACTORS WHO DIRECT"という、映画の監督兼役者を答える問題では、全部人間に取られてしまった。しかし、毎回正答までたどり着いてはいた。人間の脳がいかに素早く問題を捉え、回答するかということだ。
また、2日目のFinal Jeopardy!ではWatsonだけが正解できなかった。"US CITIES"というカテゴリのこの問題だ。

ITS LARGEST AIRPORT IS NAMED FOR A WORLD WAR II HERO; ITS SECOND LARGEST, FOR A WORLD WAR II BATTLE
(最も大きな空港が第二次世界大戦のヒーローにちなんだ名前をもち、2番目は第二次世界大戦の戦いにちなむもの)

正解は"Chicago"なのだが、Watsonの回答はアメリカの都市でないカナダの"Toronto"だった。上の動画での説明によると、Watsonは問題のカテゴリの情報をあまり重視しないらしい。そのため、その他の情報(「第二次世界大戦」や「ヒーロー」など)を基に"Toronto"と回答した。正解の"Chicago"は第2位で、自信度でわずかに及ばなかった。

で、何の役に立つの?


クイズ専用マシンなんて作って何の役に立つの?と思う人もいるだろう。少なくとも、チェス専用マシンだったDeep Blueよりはずっと役に立つはずだ。インターネットに溢れる情報の多くはテキストデータだ。それらをきちんと処理し、正しく意味付けするアルゴリズムを開発した点で、Watsonは自然言語処理の一つの到達点を表している。
また、質問に対して答えを出すというのは、クイズに限らない。IBMは医療における診察をサポートするシステムに応用するようだ。膨大な数の病から、人間の医師が正しい診断を下すのは難しい問題だ。症状や患者の訴えを率直なテキストデータで入力し、それに対しWatsonが合致する症状を出してくれる。結果として、医師も気付かなかった可能性が見つかるかもしれない。