ディープラーニングは2011年頃から急速な進展を見せ始め，瞬く間に実用的なテクノロジーへと進歩した。今や当初の狙いだった画像認識はもとより，苦手と考えられていた文章理解でも，ベンチマークテストで人間の平均点を上回るスコアをたたき出すようになった。だがその一方で，悪意をもって誘導すると，人間なら決してしないような誤った判断を下すことも明らかになってきた。例えば「止まれ」と書かれた標識の一部にシールを貼るだけで，「時速45km制限」の標識だと誤認する。
厄介なことに，誤認を誘導する方法はわかっているが，AIがなぜそんなに簡単に騙されるのか，そこにどんなメカニズムが働いているのかはわかっていない。したがってそうした攻撃を根本的に防ぐ方法は見つかっておらず，研究においても騙す側と防ぐ側のいたちごっこが続いている。
AIのこうした特性は，AIが「人工知能」というネーミングに反して，我々の脳のようには動作していないことを示唆している。AIが普及して自動運転をはじめ医療や投資のアドバイスなど様々な応用に活用されるようになったとき，我々には思いもつかない突拍子もない誤判断をしかねないということだ。AIがいったいどういうふうに考え，どのように物事を判断しているのかを探り出す試みが始まっている。
再録：別冊日経サイエンス263『生成AIの科学 「人間らしさ」の正体に迫る』
再録：別冊日経サイエンス239「人工知能 機械学習はどこまで進化するのか」
著者
瀧雅人（たき・まさと）
理化学研究所数理創造プログラム（iTHEMS）上級研究員。東京大学大学院理学系研究科物理学専攻修了後，京都大学基礎物理学研究所で素粒子物理，弦理論を研究する。その後，深層学習に興味を持ち，その基礎研究と，教育・社会実装に携わる。著書に『これならわかる深層学習入門』（2017年，講談社）。
関連記事
「爆発的に進化するディープラーニング」，Y. ベンジオ，2016年9月号。
サイト内の関連記事を読む
キーワードをGoogleで検索する
AI／敵対的攻撃／敵対的事例／深層学習／ディープラーニング／カナディアンマフィア