ChatGPTとは？「どこよりもわかりやすく、初心者でもわかりやすい」7秒で理解できる！

入力された文章が「正月」「に」「海外」「旅行」「に」「いく」「なら」「どの」「国」「が」「いい」「です」「か」「?」というトークン(単語の断片)に分割される。

入力されたプロンプトをトークン(単語の断片)に分割する目的は、言語の基本単位に分解して次の処理に渡すため。文章全体から一気に意味を捉えるのは非常に困難なので、小さな単位に分割することで言語処理を可能にしている。

各トークンは事前学習済みの埋め込み行列を用いて、ベクトル表現に変換されます。例えば「正月」は[0.2, -0.5, 0.1,…] のようなベクトルに変換される。

各トークンをベクトル表現に変換する理由は、ニューラルネットワークが単語の意味や関係性を数値ベクトルとして効率的に扱えるようにするため。単語をベクトル化することで、計算処理が可能になる。※ニューラルネットワークとは、人間の脳の神経回路をモデル化したコンピューターの計算モデル。ベクトル化とは、言葉の意味をベクトル(数値の集まり)で表現すること

トークンのベクトル列がエンコーダに入力され、プロンプト全体の意味を表す文脈化された表現が生成され、ここで「正月」「海外」「旅行」などの単語の意味合いと、文脈の関係性が捉えられる。

エンコーダでトークン列から文脈を捉える目的は、プロンプト全体の意味を的確に理解するため。単に単語の並びではプロンプトの本質が捉えられないので、ニューラルネットを使って文脈化された表現を得る必要がある。

エンコーダの出力と、デコーダの直前の出力(初期状態では特殊なトークン)を基に、最初の出力トークンが生成される。例えば「ハワイ」が生成される可能性があり、次にそのトークンとエンコーダ出力から、2番目のトークン「は」が生成される。このようにして「ハワイは正月に人気の」と次々に答えの文が構築されていく。

デコーダで1つずつトークンを生成する理由は、自然な文を作り出すため。一度に文章全体を出力するのは難しく、順次単語を生成しながら文を構築することが自然な回答文につながる。

十分な量の出力が得られたと判断されると、その出力系列が最終的な回答文として生成される。
例: 「ハワイは正月に人気の旅行先です。暖かい気候と綺麗なビーチを楽しめます。」

質問に対して自然で適切な回答を生成。生成された文が適切な長さで意味の通った内容になっていれば、それがユーザーへの回答として提示できる。