オウム以上フクロウ未満？ ⽣成AIの“思考⼒

ChatGPTや同種の生成AIが世界をどう変えることになるのか，まだ誰にもわからない。これらAIの内部で何が起こっているのかを誰も理解していないのが一因だ。これらのシステムのなかには学習・訓練した範囲をはるかに超えた能力を発揮するものがあり，なぜそうなるのかについて当のAIを発明した人々も困惑している。 これらのAIシステムが人間の脳と同様に，実世界のモデルを内部に作り出していることを示す試験結果が増えている。モデル構築の仕方は異なるものの，私たちの脳に通じるところがあるのだ。

「これらのAIがどう機能しているかを知らずに，AIをよりよく，より安全なものにするために何かの工夫をしようというのは，馬鹿げていると思う」。AIが示す説明のつかない能力に説明をつけようと取り組んでいる研究者のひとりであるブラウン大学のパヴリック（Ellie Pavlick）はそう話す。

あるレベルでは，パヴリックら研究者たちはGPT（「事前訓練ずみの生成的トランスフォーマー」を意味する略号）や他の大規模言語モデル（LLM）を完全に理解している。大規模言語モデルはニューラルネットワークという機械学習システムに基づいている。ニューラルネットは人間の脳の神経細胞の接続を大雑把にモデル化した構造だ。ニューラルネットのプログラムは比較的簡単で，コンピューター画面に表示して数画面にすぎない。 これが一種の「自己修正アルゴリズム」を構成し，文中で次に出現する確率が最も大きそうな単語を，インターネット上にある数百ギガバイトのテキストから膨大な統計解析に基づいて選び出す。さらに訓練を加えることで，システムはこの選択結果をユーザーとの対話の形で提示できるようになる。 つまりこの意味で，AIは学習したことを単に吐き戻しているだけだ。ワシントン大学（シアトル）の言語学者ベンダー（Emily Bender）の言葉を借りれば，AIは「確率論的なオウム」である。

だが大規模言語モデルはなぜか司法試験でも優秀な成績を取り，ヒッグス粒子についての詩を書き，ユーザーの婚姻関係をぶち壊すたくらみまで考案する。単純な自己修正アルゴリズムがこんな広範な能力を獲得すると予想していた人はほとんどいなかった。 

再録：別冊日経サイエンス263『生成AIの科学　「人間らしさ」の正体に迫る』