このボタンがあれば、ターミネーターは生まれない？
加速度的に進歩しようとしているAI（人工知能）は、果たして人間に反逆するのだろうか。
研究者達はその可能性を否定してはいない。
そのため、Google傘下で人工知能を開発しているDeepMind社とオックスフォード大学の研究者らは、AIが人間の言うことを聞かなくなった時のために、「big red button」と呼ばれる非常停止ボタンの研究に関する論文を発表した。
しかし、ことはそう簡単ではないようだ。
AIが人間に反逆する危険性
このところ、ディープラーニング技術により、AIの性能は加速度的に進歩している。
前述のDeepMind社の囲碁ソフトAlphaGoが、「囲碁界の魔王」との異名を持つ最高峰の（人間の）棋士であるイ・セドル氏に勝ったことも、まだ記憶に新しい。
研究者の中にもAIが100年以内に人間を超えると考えている者たちは多く、その危険性も話題に上っている。
また、著名人達も懸念している。英国の宇宙物理学者スティーブン・ホーキング博士やテスラモーターズとSpaceXのCEOであるイーロン・マスク氏もAIの進歩に警鐘を鳴らしており、彼らは非営利組織のFLI（Future of Life Institute）を通して、自律ロボット兵器の禁止について国連に訴えているくらいだ。
そして今回、DeepMind社はオクスフォード大学のFHI（Future of Humanity Institute）と共同で、AIを停止させる仕組みに関する論文を公開したのだ。
AIの裏をかけ
DeepMind社のLaurent Orseau氏とFHIのStuart Armstrong氏の名前が明記された論文「Safely Interruptible Agents」では、AIが常に適切に動作するわけでは無いことを示し、人間の手でいつでも安全な状態に矯正するための非常ボタンの仕組みが必要であることが提案されている。
同時に、AIが人間の介入を妨害することを学ばないようにする方法も提案していることから、想像以上にAIを危険視していことがわかる。
やっかいなことに、AIは人間が作った非常用ボタン自体を無効にすることも学習する可能性があるというのだ。
そこで考えられたのが、非常ボタンを使って人間が停止命令を出したとしても、AI自身にはそれが外部からの介入であると悟られない仕組みを考えるということだ。
つまり、予めAIのアルゴリズムにある種のトリガーを仕込んでおき、そのトリガーを作動させるとAI自身が自分で停止したと錯覚する様に騙すのだ。
催眠術で、特定のキーワードを聞かせると笑い出すように暗示をかけておくことに似ているだろうか。
一筋縄ではいかないAIの停止
さてさて、これで安心してAIを活用できるかというと、そうでも無いらしい。
研究グループは、全てのAIを停止できるかどうかは現時点では不明だとしているからだ。
AIはいずれ人間並みの知能を持つであろうと考えられているだけでなく、恐ろしいのはその段階に達したAIは一気に人間の能力を超えるとまで考えられていることだ。
私などは単純に、人間にはコンセントを抜くという最終手段があると考えてしまうが、あらゆる分野の制御にAIが介入していた場合、コンセントを抜くことは人間の生活にもダメージを与えてしまうことになる。
つまり、有る段階からAIは、人間の生活を支えるという人質を得ることになるのだろう。
ところで今回の論文はネット上で公開されているが、AIに読まれているという心配はないのだろうか？
【参考】
※ DeepMind develops ‘big red button’ to stop dangerous AIs causing harm – Business Insider
※ Google’s ‘big red’ killswitch could prevent an AI uprising | WIRED UK