AI半導体研究の第一人者で東京工業大学教授の本村真人氏にチャットGPTの仕組みと今後の可能性などを聞いた。（聞き手＝浜田健太郎／金山隆一・編集部）

＞＞特集「半導体 黄金時代」はこちら

──　チャットGPTに代表される生成AIが世界的な関心を集めている。どのような技術革新で可能になったか。

■最大の要因は、大量の文章をニューラルネット（人間の脳をまねた仕組み）に学習させることで、言語の表現能力を獲得したことだ。人間の赤ちゃんが言葉を聞き続けて、言葉の並びの位置関係とか意味合いとかを理解するように、大量の文章をコンピューターに入力して可能になった。この仕組みを「大規模言語モデル（LLM）」と呼ぶ。

　チャットGPTの能力とは、狭い意味でいうと次の単語を生成する能力のことだ。質問文に対して、続きを生成する。大量の文章の中身を理解することによって学習した成果だ。ある文章を与えるとその続きを、それまでに学習した膨大な文章群の中から語句を選んで引き出している。

──　LLMの学習では、文章の途中を空欄にしてそれを埋めるような問題もある。

■従来のニューラルネットの学習では、基本的に正解を付ける必要があった。画像処理であれば、「これは犬」「これは猫」といった「正解付きラベル」のデータを読み込ませていた。これに対して、文章の生成では、ある文章をそのまま流し込む場合もあるし、一部を抜いて、そこを予測させ、穴を埋めさせて学習させる方法もある。この場合、正解ラベルを付ける必要がない。何らかの文章を大量にかつそのまま読ませるだけで、教材データとして使える手法がこの5年間ほどで発達し始めた。それが現在のイノベーションを生んだ。

「学習」するほど賢く

──　飛躍をもたらしたLLMのモデルが「トランスフォーマー」と聞く。

■AIと呼ばれるものはほぼ全てニューラルネットワークで処理される。これを言語学習用に考えられた新しい構造が「トランスフォーマー」だ。それ以前だと、RNN（リカレント・ニューラルネット）と呼ばれる言語モデルがあった。例えば、“Taro is waiting for you”（タロウがあなたを待っている）の順番に単語が並んでいるとする。RNNでは、ニューラルネットの構造において、“Taro”という言葉（固有名詞）が出てきたらいったん覚えて、ニューラルネットにフィードバックして、次の言葉“is”が…