生成AIの構成要素：トークン・埋め込み・モデル | AWS Certified AI Practitioner

1 / 11 ブロック9%

イントロ

生成AIの構成要素：トークン・埋め込み・モデル

文字列がトークン、ベクトル、モデル出力へ変わる流れをつかむ

学習データのパターンを基に、文章、画像、音声、動画、コードなど新しい内容を生成するAIです。

定義

とは、学習したパターンに基づき、新しい文章・画像などの内容を生成するAIです。
言葉を分けると: 文章モデルは入力をへ分け、型のが文脈に応じた次の単位を扱います。は意味や特徴を数値で表し、検索で近い内容を比べやすくします。

手順

文章生成アプリの部品を追う

1
入力文をモデルが扱うトークンへ分ける。
2
長い資料をし、埋め込みをとして保存して関連部分を探す。
3
LLMへ入力文脈を渡し、トークン列として応答を生成する。
4
文章以外を扱う場合はモダリティとモデル方式を確認する。

要点

判断で押さえる境界

トークンは必ず一単語ではなく、言語やモデルによって文字の一部や記号にも分かれます。は多用途の土台で、は文章・画像・音声など複数形式を扱います。はノイズから画像などを段階的に生成します。チャンクは細か過ぎると文脈を失い、大き過ぎると無関係部分が増えます。

1
トークンはモデルの処理単位
2
埋め込みは意味的近さを表すベクトル
3
モデルごとに扱えるモダリティが異なる

生成AIの構成要素：トークン・埋め込み・モデルについて文章→トークン、資料→チャンク、意味→埋め込み、LLM→応答の関係を文字ラベルと矢印で示した図 — 入力と資料が異なる表現へ変換され、文脈としてモデルへ入る流れです。トークンと埋め込みの役割を混同しないようにします。

例

場面: 製品マニュアルから関連段落を探し、その内容に基づく回答を生成します。
順に考えると: マニュアルを意味のまとまりでチャンク化し、各チャンクの埋め込みを保存します。質問の埋め込みに近いチャンクを取得し、質問と一緒にLLMへ渡します。LLMは入力をトークンとして処理して応答を生成します。埋め込み自体が回答文を作るわけではありません。
ここが結論: 検索、文脈構築、生成の三役を分け、構成要素を正しい位置に置けます。

注意

埋め込みは文章の要約ではない

確認

AIF-C01 判断チェック

Q1

意味の近い文書片を検索するために使う表現はどれですか。

まとめ

まとめ

1
生成AIは新しい内容を作る
2
トークンはモデルの処理単位
3
チャンクは長い資料を意味単位に分ける
4
埋め込みは意味的近さの検索に使う

次へ

次は「生成AIユースケースと基盤モデルのライフサイクル」へ

生成AIの基礎

生成AIユースケースと基盤モデルのライフサイクル

生成AIユースケースと基盤モデルのライフサイクルを、AIF-C01の公式objective 2.1.2・2.1.3に沿って、用語、判断順序、例、誤解修正で整理します。