幻覚検出・グラウンディング・出力検証 | AWS Certified AI Practitioner

1 / 11 ブロック9%

イントロ

幻覚検出・グラウンディング・出力検証

根拠へ結び、主張を検証し、不明なら断定しない

生成結果を、信頼できる資料、データ、ツール結果など検証可能な根拠へ結び付け、根拠外の生成を抑えることです。

定義

とは、生成結果を信頼できる資料・データ・ツール結果など、検証可能な根拠へ結び付けることです。
言葉を分けると: で関連資料を渡し、を抑えます。は補助指標であり、正しさの保証ではありません。

手順

根拠付き回答を検証する

1
をとへ結び、使える根拠を限定する。
2
とで、重要な主張を根拠箇所や確定データへ対応付ける。
3
定めたデータと基準で継続的にし、引用の存在だけで合格にしない。
4
や矛盾があれば、へ返すかする。

要点

判断で押さえる境界

『引用が付いている』だけで合格にしません。引用先が存在しても、回答の主張を支えていない場合があります。検出では、事実ごとのentailment、数値一致、出典の信頼性、適用日を確認します。生成しない判断や『資料から確認できない』という応答も、正確さを守る重要な結果です。

1
グラウンディングは根拠へ結ぶ
2
引用と主張の対応を検証
3
根拠不足なら断定しない

幻覚検出・グラウンディング・出力検証について質問、信頼資料を取得、回答・引用を生成、主張照合→回答/保留の関係を文字ラベルと矢印で示した図 — 質問から資料取得、生成、主張ごとの照合へ進む流れです。根拠不足時には回答せず保留する分岐を含みます。

例

場面: 社内規程チャットが『海外出張は一律10万円まで』と回答しました。
順に考えると: 回答を分解し、金額、対象者、地域、施行日を引用箇所と照合します。取得資料には地域別上限しかなく、一律という主張を支えていません。システムは回答を保留し、適用部署と出張先を追加確認して再検索します。引用URLがあるだけで出力を通しません。
ここが結論: もっともらしい過度な一般化を、主張単位の根拠照合で止められます。

注意

confidence scoreは正解確率とは限らない

確認

AIF-C01 判断チェック

Q1

引用付き回答の適切な検証はどれですか。

まとめ

まとめ

1
グラウンディングは信頼根拠へ出力を結ぶ
2
RAG・検証・信頼度を組み合わせる
3
引用の存在でなく主張との対応を見る
4
根拠不足・矛盾時は保留できる設計にする

次へ

次は「AIガバナンスのAWSサービス・データライフサイクル・手順」へ

AIのセキュリティ・コンプライアンス・ガバナンス

AIガバナンスのAWSサービス・データライフサイクル・手順

AIガバナンスのAWSサービス・データライフサイクル・手順を、AIF-C01の公式objective 5.2.1・5.2.2・5.2.3に沿って、用語、判断順序、例、誤解修正で整理します。