チャットGPTは質問に対する回答を自然な言語で瞬時に表示する。どのようなシステムで言語を学習しているのか。

＞＞特集「チャットGPTのスゴい世界」はこちら

　新しいAI（人工知能）技術による「チャットGPT」が登場した。まるで人と会話するように、与えられた質問に回答したり、入力されたテキストを要約したりする。英語、日本語をはじめさまざまな言語を巧みにあやつり、流暢(りゅうちょう)に受け答えするため、公開されるや、研究者やテクノロジーに関心の高いユーザーの注目を集めた。

　以下では、チャットGPTの誕生のきっかけとなった技術について解説する。

　工学の世界では人間の言葉をコンピューターで取り扱う分野を「自然言語処理」と呼ぶ。この分野の肝となる技術が、連続する単語が出てくる確率をモデル化した「言語モデル」というものだ。

　例えば、「あけまして」に続く単語は「おめでとうございます」と続く可能性が高いなどと予測する。与えられた「単語」に対して、次の単語を予測でき、それが積み重なれば「文」となり、文と文が重なれば「文章」となる。予測できる範囲が広がれば「質問文」に対する「回答文」を作ることも原理的には可能になる。

　カナダのトロント大学のジェフリー・ヒントン教授らによって2012年、ディープラーニング（深層学習）による画像認識の画期的な性能向上が報告された。それ以降、言語モデルへも、「リカレントニューラルネットワーク（回帰型の脳神経細胞の働きを模したネットワーク構造）」をはじめ、さまざまなディープラーニングのモデルが検討されてきた。しかし効果は限定的であった。

　現在のチャットGPTにつながる言語モデルが急激に進化するきっかけとなったのは、17年12月にグーグルの研究者らが考案した「トランスフォーマー」と呼ばれるモデルの誕生である。トランスフォーマーは機械翻訳の性能を向上させる新たなモデルとして一躍注目を集めた。トランスフォーマーを活用し、18年10月に公開された言語モデルの「BERT」（Bidirectional Encoder Representations from Transformers）は、従来の言語モデルにない性能を示し、世界を驚かせた。

「穴埋め問題」を解く

　BERTが格段に性能を上げた理由は二つある。

　一つは「事前学習済みモデル」という、言葉の基本的な概念や知識に相当するものを効率的に獲得する方法を活用した点である。

　インターネット上の文章テキストを収集し、わざと文章の中の単語を一つ抜いて、その穴埋め問題を機械的に作る。そこに当てはまる単語を正確に入れることができれば、文章の精度が高まる。単語の穴埋め問題を機械的に大量に作り、繰り返し解いていくことで正確な文章に近づく。

　さらに、二つの文章をランダムに抽出し、これが隣り合っていて通じる文章かどうかという問題も機械的に大量に作り、自らが解く。

　このように、人が正解データを一つ一つ用意しなくても、オンライン百科事典の「ウィキペディア」のような、ある程度文脈の通ったテキストがあれば、言葉の概念や知識に相当するものを自動的に獲得できるのである（図1）。

　もう一つの理由は、ネットワークの構造である。従来、言語モデルに用いられてきたリカレントニューラルネットワークなどは、入力される単語を処理し、後続のネットワークに伝える数珠つなぎの構造であったため、逐次処理となっていた。この手法は、大量のデータを学習するのには時間がかかるため不向きであった。

　しかし、トランスフォーマーは、単語の位置に相当する情報があらかじめデータ…