チャットボットは本当にチューリングテストに合格したのか？

ヒント: いいえ。でもコンテストで優勝しました!

皆さんは、ユージン・グーストマンというチャットボットのカルトにすっかり夢中になっていることでしょう。このチャットボットは、 2014年にレディング大学で行われたチューリングテストで、30人の審査員のうち10人に自分は人間だと信じ込ませ、コンテストで優勝したことで話題になりました。この発表を受けて、200語余るニュースソースはすべて、ユージン・グーストマンをボットの王として即位させました。しかし、私たちはもう、もっとよく知っておくべきです。

1950年、英国の数学者で暗号解読者のアラン・チューリングは、機械と人間の区別がつかないかどうかをみるテストのアイデアを提唱した。すぐにチューリングテストと呼ばれるようになったこのテストの合格点は、人工知能の聖杯である。ブレードランナーのフォークト・カンプフテストを思い浮かべてほしい。ただし、最後はレプリカントを撃つことはない。まだだ。現在の形態では、人間の審査員がコンピューターの前に座り、見えない相手とテキストメッセージをやりとりする。相手が誰と話しているのか見えないため、審査員は会話の手がかりを頼りに相手が人間か機械かを判断しなければならない。チューリングは、2000年までにコンピュータープログラムは30%の人々に自分は人間だと信じ込ませることができるようになると予言したことで有名である。イベント主催者は、チューリングテストがどうあるべきかについてチューリングが具体的なガイドラインを定めたことはなかったため、多少文脈から外れたこの予言を、チューリングテストの勝利条件の設定に利用した。

同じことをしたい人が大挙してサーバーがクラッシュする前に、私はグーストマンと話す機会を得た。オズの厳しい批評にもかかわらず（彼は少し度を越しがちだ）、正直に言って彼は良い人だ。完璧とは程遠いが、悪くはない。グーストマンは、これまでのチャットボットが犯した間違いをすべて犯している。質問をはぐらかしたり、話題を変えたり、曖昧な答えをしたり、聞いていることを示すために普通の人間ならしないようなやり方であなたの話を繰り返したり、もちろん意味をなさない本当に馬鹿げたことを言ったりする。グーストマンの製作者は、架空のバックストーリーを与えることで彼の癖を説明している。ユージンは13歳のウクライナの子供だ。彼には好きな食べ物とペットのモルモットがいて、これらのことを話すために重要な尋問を台無しにするのも平気だ。私は彼をレプリカントとしてずっと前に撃ち殺していただろう。

ちなみに、私はどれも信じていません。まず、これは 13 歳の子供を侮辱するものであり、その多くは、脈絡のない言い回しに頼ることなく会話をすることができます。また、同じ理由で、英語を第二言語として話す人々も侮辱します。グーストマンの経歴は支えになりますが、ボットの不十分さを補うためにソーシャル エンジニアリングが使用されたのはこれが初めてではありません。悪名高いMGONZプログラムでは、ある哀れな人が 90 分間も続けました。そのトリックは? MGONZ は、戦闘的で、下品で、侮辱的でした。MGONZ をテストしているときに頭の中で警報が鳴ったとしても、それはコンピューターではなく、嫌な奴の癖によるものです。脳のサイコパス検出器を回避するのは巧妙なトリックであり、外国のティーンエイジャーの小技よりもはるかに面白いです。

ユージン・グーストマンはチューリングテストに合格しなかった。彼はレディング大学のコンテストで優勝した。彼は予測された日付から14年以内にチューリングの基準を満たした。しかし、彼は完璧なAIではないし、私たちにはまだまだ道のりが長く、その過程で学ぶべきこともたくさんある。私は実際に審査員がバカだったとは思わない。でも、彼らが後でバカだと感じてくれたらと思う。