トークン費用とコンテキストエンジニアリング

イントロ

必要な情報だけを文脈へ入れ、品質・遅延・費用を整える

モデルが一回の処理で参照する指示、会話、検索結果、ツール出力、例などを目的に合わせて選び、順序付け、管理する設計です。

定義

とは、モデルへ渡す指示・履歴・検索結果・ツール出力全体を設計することです。
見分けるポイント: 多くの生成AIサービスではが使われ、入力と出力の量が費用へ影響します。長い入力は情報を増やせる一方、の上限や無関係情報による品質低下を招きます。は指示文を整える一部です。

手順

要点

全文を毎回投入する方法は簡単でも、常に最良とは限りません。長い会話は決定事項だけを要約し、社内資料は質問に関連するチャンクだけを取得します。ただし削り過ぎると前提を失うため、回答に必要な根拠が残っているかテストします。費用削減と品質維持を同じ評価で扱います。

例

場面: 半年分のサポート会話を毎回すべてLLMへ送っているアプリを改善します。
順に考えると: 現在の問題に必要な顧客属性と未解決事項を要約し、関連する直近履歴だけを残します。製品資料は検索で該当部分を取得します。入力トークンと遅延を減らしつつ、過去の約束や禁止事項が失われないか代表ケースで評価します。出力上限も回答形式に合わせます。
ここが結論: 単純な切り詰めではなく、必要情報を保つ文脈設計として費用と性能を改善できます。

注意

確認

Q1

費用を下げながら回答の根拠を保つ改善はどれですか。

まとめ

エージェント型AI：MCP・記憶・ツール・オーケストレーションを、AIF-C01の公式objective 2.1.6に沿って、用語、判断順序、例、誤解修正で整理します。

新しいカテゴリが追加されました