ChatGPTの頭のなかをのぞき見る

「この小説の続きを考えて」「英文を和訳して」「新商品のアイデアを出して」──ChatGPTは，人間のあらゆる無茶振りにまじめに答えてくれる対話型AIだ。ユーザーによって色々な使い方が考案され，「こんな使用法がある」「AIがこんな回答を返してきた」といった話が日々のニュースやSNSを賑わせている。

しかし，このAIが最も興味深い姿を見せてくれるのは，人間の質問にうまく答えられた時ではなく，間違った回答をした時だ。数学の問題を解かせると，ChatGPTは人間がまずしないような，妙な間違い方をすることがある。突然しれっと「もっともらしいウソ」をつき，文章の文法構造を問うととんちんかんな答えをする。

実は，ChatGPTはネット上にある大量のテキストを読み込んで文章中の単語と単語の関係性を学習しているだけで，四則演算をはじめとした数学や，国語の文章の読解方法といった個々の知識体系を一切教えられていない。それにもかかわらず，このAIは数学や国語を自分なりに習得していて，問題を解こうとする。ただ，AIが習得した数学や国語の知識は，どうも人間が知っている数学や国語のそれとは違うようだ。

一体，ChatGPTの内部では何が起こっているのか。ChatGPTの内部で働いているのは大規模言語モデルと呼ばれるタイプのAIだ。その学習メカニズムはもちろん，人間の開発した明解なアルゴリズムに基づくものだ。しかし大型のニューラルネットで大量のテキストを学習した結果，大規模言語モデルの内部にどのような形式で知識が獲得されているのかを知るのは簡単ではない。その結果，まるで人間に対する認知科学研究のごとく，AIに質問をして，その応答からAI内部の知識構造を探る「プロービング」と呼ばれる研究が盛んになっている。

以下の方々にお話をうかがいました。
松尾豊（まつお ゆたか）
東京大学教授。専門はAI，ディープラーニング。
谷中瞳（やなか ひとみ）
東京大学講師。専門は計算言語学，推論，自然言語処理。
小島武（こじま たけし）
東京大学大学院博士課程3年。文章生成モデルを研究。
新納浩幸（しんのう ひろゆき）
茨城大学教授。専門は自然言語処理，機械学習。

コラム

・AIキャラクターが人と機械，人と人を繋ぐ未来
　　沢田慶／シーン誠（ともにrinna株式会社）
・文章が「必ず書ける」時代になる
　　砂金信一郎／佐藤敏紀（ともにLINE株式会社）

おしらせ
紙版品切れにつき，記事ダウンロードサイトにて全冊版PDFの配信を開始いたしました。
お手元に長く残したい方はこちらをもどうぞ。（※注意事項を必ずご確認ください。）