文章生成LLMのしくみを見てみよう

入力文は「トークン」と呼ばれる小さな単位に分けられます。単語まるごとのことも、一部や記号のこともあります。モデルはそれらを文脈を計算できる数値表現にし、文全体のつながりを手がかりに、次に続きそうなトークンの確率を計算します。

計算結果から一つ選び、入力やここまでの文章に足す。この手順を繰り返して文を作ります。毎回いちばん確率が高いものを必ず選ぶとは限りません。図は考え方を単純化した説明で、実際の内部処理をすべて表すものではありません。

学習では、文章の続きを予測する練習を通して、予測がうまくなるようモデルの内部設定を調整します。応答時は学習済みの内部設定を使って文章を作ります。通常は、返答を作るたびにモデル本体を学び直したり、内部設定を書き換えたりするわけではありません。

LLM単体は検索エンジンではありません。検索機能を組み合わせる仕組みでは、別工程で資料を探し、その結果を文章を作る材料として入力へ加える場合があります。検索が使われるかどうかは機能や設定によって異なります。

文として自然でも、内容が正しいとは限りません。知らないことや曖昧なことにも、もっともらしい答えを返す場合があります。日付・数字・固有名詞など大事な事実は、信頼できる出典で確かめましょう。

次は教材用の架空の例です。実際のモデルが計算した確率や回答ではありません。

この文の次に来る言葉を考えると、「出た」のような続きが自然そうです。モデルは実際には多数の候補に確率を割り当て、そのうち一つを選んで文脈に足し、また次を予測します。