大規模言語モデルとは何か

「大規模言語モデル（Large Language Model）」という言葉を聞いたことがあるだろうか。一言でいうとChatGPTの内部で動いているAIのことだ。米オープンAIの提供するChatGPTの中では2023年8月現在，GPT-3.5（有料版ではGPT-4）という大規模言語モデルが動いている。オープンAI以外にもグーグルやマイクロソフト，メタ，アマゾンといった名だたるIT企業がここ数年で大規模言語モデルをリリースしており，ChatGPTの登場以後はさらにその動きが加速している。

このAIの仕組みはある意味でシンプルだ。大規模言語モデルはあらかじめ膨大なテキストを取り込み，そこから知識を学習して人工ニューラルネットワークの中に蓄えている。この知識を利用して，言語に関する様々なタスクを解く。特にGPTの場合は利用者が入力文の形式を変えるだけで幅広い種類のタスクをこなせる。ChatGPTにどんな文章を入力するのが効果的かを指南する書籍も数多く出版されている。

GPTをベースにしたシステムも数多くリリースされている。大量の医学論文を学習した大規模言語モデルの「BioGPT」や，日常会話で使う普通の言葉をプログラムのソースコードに変換する「Codex」などだ。さらに今年7月にはChatGPTの有料版に「Code Interpreter」という新機能が追加された。この機能は，表形式の数値データの入ったファイルを入力して調べたい項目を普通の言葉で入力するだけで，データ解析のためのプログラムを生成し，自動で統計解析をしてくれるというものだ。こうした現状は，このAIが単なる「便利なおしゃべりアシスタント」の域を超えて，言語そのものを本質的に理解しているような印象を私たちに与える。

ただ，いきなり「テキストから知識を学習する」といわれても大規模言語モデルが内部で何をしているのかはいまいちピンとこない。このAIのことを知ろうとすればするほど，まるで雲をつかもうとしているような感覚になる。一体大規模言語モデルは言語をどのように把握しているのか。

本記事では，この疑問を真正面から取り上げたい。大規模言語モデルの仕組みを理解する上でキーワードとなるのが，単語の意味をベクトルで表す「分散表現」と，「Transformer（トランスフォーマー）」というニューラルネットだ。

続きは日経サイエンス2023年10月号誌面で。