「このコンピュータは何を考えているかわからない」

プログラマーの格言に、「プログラムは思った通りに動かない。書いた通りに動く。」というものがある。予想しない結果が出たなら、書いたプログラムのどこかにその原因がある。どう思ったとしても、間違って書けば、間違った結果が出る。実際、今までのプログラムでは、この格言は正しいと思う。

しかし、機械学習やディープラーニングの分野では、そう簡単にはいかないように思う。

ディープラーニングでは、大量のデータをもとに、判断の精度をブラッシュアップしていく。昨日書いたように、事例の抽象化ではなくて事例数の多さで「考え方」を構築していく。こうして構築された考え方、評価の方法は、どのようなアルゴリズムで生成したかのほかに、「どういった事例をもとに学習したか」も重要になってくる。現在多くのプログラムで行われている「ユーザーが入力したデータを処理する」というような状況と比べると、入力情報の重要性は大きく異なる。

少し前に、このようなニュースがあった。

米ＩＴ大手のマイクロソフト（ＭＳ）は２４日、インターネット上で一般人らと会話をしながら発達する人工知能（ＡＩ）の実験を中止したと明らかにした。不適切な受け答えを教え込まれたため「ヒトラーは間違っていない」といった発言をするようになったという。 ヒトラーほめる人工知能、米ＭＳがわずか２日で実験中止　ツイッターでの”実地訓練”裏目 - 産経ニュース

一般的には、「ここが悪いから問題が起こった」というように、原因を突き詰めるのは難しいだろう。今回は不適切な受け答えをたくさん教え込まれ、入力情報が見える状態だったから原因はわかりやすいが、いつも原因の特定ができるとは限らない。

例えば、良い子、悪い子、普通の子がいたとして、「親のこの発言のせいで良い子になった」とか「この事件のせいで悪い子になった」というような特定は難しい。これと同じことが、コンピュータの世界でも頻繁に起こるようになると思う。

人間でも「あいつは何を考えているかわからない」という人がいるが、これからは「このコンピュータは何を考えているかわからない」という状況がやって来るのかもしれない。