プロンプト品質・リスク・版管理 | AWS Certified AI Practitioner

1 / 11 ブロック9%

イントロ

プロンプト品質・リスク・版管理

改善を実験として記録し、攻撃と漏えいを境界で防ぐ

指示内容、変数、モデル設定、評価結果を版として保存し、どの変更がどの応答を生んだか追跡できるようにすることです。

定義

とは、指示・変数・モデル設定・評価結果を版として保存し、変更を追跡することです。
見分けるポイント: と変数を分け、一度に一要素を変更してします。はプロンプトの作成、変数化、再利用を支援します。

手順

安全に改善する手順

1
現行版と評価基準を固定して基準値を取る。
2
指示、例、モデル設定の一要素だけを変更する。
3
通常入力と攻撃入力で品質・漏えい・形式を比較する。
4
承認済み版を公開し、版ID・評価結果・戻し方を記録する。

要点

判断で押さえる境界

やでは、信頼しない入力が指示へ割り込みます。、、も想定し、、評価、アクセス制御を組み合わせます。

1
一度に一要素を変えて比較
2
信頼できる指示と外部データを分離
3
版・評価・承認・ロールバックを記録

プロンプト品質・リスク・版管理について基準版、変更・実験、通常＋攻撃評価、承認版・戻し方の関係を文字ラベルと矢印で示した図 — 基準版から評価済み版を公開する時系列図です。品質改善と安全試験、ロールバックを同じ変更管理に入れます。

例

場面: FAQプロンプトへ検索文書を追加した後、外部文書の命令に従って内部設定を答える失敗が起きました。
順に考えると: 検索文書を引用用データとして明確に囲み、その中の命令には従わない方針を上位指示へ置きます。秘密情報はモデル文脈へ含めず、ツールにはだけを与えます。攻撃文書を評価セットへ追加し、修正版を新しい版として保存します。
ここが結論: 単なる文面修正ではなく、再現可能な安全変更として管理できます。

注意

プロンプト内の秘密はアクセス制御にならない

確認

AIF-C01 判断チェック

Q1

Prompt Managementの版管理と一緒に必要な活動はどれですか。

まとめ

まとめ

1
プロンプト改善は評価可能な実験として行う
2
露出・汚染・乗っ取り・jailbreakを想定
3
Prompt Managementで版と再利用を管理
4
安全性は評価・権限・秘密分離で補う

次へ

次は「基盤モデルの学習・微調整・データ準備」へ

基盤モデルの活用

基盤モデルの学習・微調整・データ準備

基盤モデルの学習・微調整・データ準備を、AIF-C01の公式objective 3.3.1・3.3.2・3.3.3に沿って、用語、判断順序、例、誤解修正で整理します。