OpenAIは3月末に発表した技術資料の中で，米国で大学入試に使われる数学の共通試験「SAT Math」を大規模言語モデルGPT-4に解かせ，800満点中700点のスコアを取ることができたと発表した。ChatGPTを用いて自分のコンピューターから試してみても，たしかにこのAIは二次方程式の解法や確率の計算方法などを知っているようだ。
これは驚くべきことといえる。なぜなら，大規模言語モデルの学習方法は本来，数学能力を高めるような設計になっていないからだ。このAIは，ネット上にある大量のテキストから文章中の単語と単語の関係性を網羅的に学び，文中で次に来る単語を予測する。「今日は晴れなので」という文章があれば「出掛けましょう」というように，後に来る単語の予測を繰り返して結果的にそれらしい自然な文章を生み出す。この学習方法の中には「四則演算の練習」も「因数分解の理解」も存在しない。
ならば，ChatGPTの数学能力はどこで身についたものなのか。それは，単語と単語の関係性を学んだことによる「副産物」だ。ネット上の膨大なウェブページの中には数学の問題や解答方法を説明したものがある。そこに登場する単語や記号の関係性を学んだ結果，四則演算の方法や問題の解法を結果的に習得したと考えられている。「今日は晴れなので」の後に「出かけましょう」の語句が登場しやすいのと同じように，「5×5=」の後には「25」の文字が登場しやすい。たったそれだけのことを積み重ね，このAIは高校レベルの数学を解けるようになった。
その一方で，現状の大規模言語モデルは解法がでたらめで答えだけが正解といった，不自然な「ミス」も起こす。人間の数学とAIが学んだ数学は，まだ完全に同じというわけではなさそうだ。
この現象は，そもそも私たち人間が数学をどのように学習しているのか，という問いにスポットライトをあてる。教科書を読んで先生の話を聞いて数学ができるようになる私たちと，こうした大規模言語モデルの学習方法は一体何が違うのだろうか。この問いは，より高度な思考が可能なAIを作る観点からも，人間の持つ知性の本質を探る意味からも，きわめて重要だ。最新の認知神経科学でこの謎に迫る。
協力：金井良太（かない・りょうた）
株式会社アラヤ代表取締役CEO。専門は認知神経科学で，英サセックス大学准教授などを経て2013年にAIスタートアップの同社を創業。AIの技術開発や脳の高次機能の研究を手掛ける。
協力：藤澤逸平（ふじさわ・いっぺい）
アラヤ研究開発部でMetacognition Teamのチームリーダーを務める。研究分野は深層学習やメタ学習など。2022年から北海道大学人間知×脳×AI研究教育センターの客員研究員も務めている。
協力：中井智也（なかい・ともや）
仏リヨン神経科学研究センター博士研究員。専門は数学の認知神経科学および計算モデル。脳機能イメージングや機械学習，発達心理学を組み合わせた研究を手掛ける。
関連記事
「ChatGPTの頭のなかをのぞき見る」，出村政彬，日経サイエンス2023年5月号。
サイト内の関連記事を読む
キーワードをGoogleで検索する
ChatGPT／大規模言語モデル／認知神経科学／トランスフォーマー／記号接地問題