基盤モデルの評価方法と指標 | AWS Certified AI Practitioner

1 / 11 ブロック9%

イントロ

基盤モデルの評価方法と指標

自動指標、人の評価、モデル評価を役割別に組み合わせる

モデル出力を、参照データ、自動指標、人の判断、または別モデルの判定で測り、用途の品質基準を満たすか確認する活動です。

定義

とは、複数の方法と指標で基盤モデルを測り、用途の品質基準を満たすか確認する活動です。
見分けるポイント: は語句の重なり、はn-gram一致、は意味的な近さを測ります。は別のLLMで判定を補助します。は自動・人手評価を支援します。

手順

評価設計の順序

1
正確さ、網羅性、簡潔さ、安全性など評価観点を定義する。
2
代表ケースと失敗しやすい境界ケースをにする。
3
自動指標、専門家、、LLM評価の役割を組み合わせる。
4
者間の差、judgeモデルの偏り、基準漏れを監査する。

要点

判断で押さえる境界

参照文と表現が違っても意味が正しい回答がある一方、単語が重なっていても事実関係が逆の場合があります。LLM-as-a-judgeにも偏りがあるため、重要ケースはと根拠照合を残します。

1
評価観点を用途から定義
2
自動指標は測る性質が異なる
3
人・ベンチマーク・LLM評価を相互補完

基盤モデルの評価方法と指標について自動指標：速い、人評価：文脈深い、LLM judge：拡張可能、ベンチマーク：比較可能の関係を文字ラベルと矢印で示した図 — 評価方法を速度と文脈理解の二軸で配置する図です。一つに依存せず、用途の重要度で組み合わせます。

例

場面: 要約モデルAとBを評価し、ROUGEではA、人の事実確認ではBが高い結果になりました。
順に考えると: ROUGEは参照要約との表現の重なりを捉えますが、事実の正確さを直接保証しません。用途が会議決定の正確な共有なら、人の事実評価を主要基準にし、ROUGEは網羅や変化検知の補助として使います。基準と重みを事前に定め、都合の良い指標だけを後から選びません。
ここが結論: 指標の不一致を失敗とせず、各指標が測る性質から最終判断を説明できます。

注意

高い自動スコアは業務合格と同義ではない

確認

AIF-C01 判断チェック

Q1

LLM-as-a-judgeを使う場合の適切な注意はどれですか。

まとめ

まとめ

1
評価観点は用途の成功条件から作る
2
ROUGE・BLEU・BERTScoreは異なる近さを測る
3
LLM-as-a-judgeは効率化するが偏りを持つ
4
人・自動・ベンチマークを組み合わせる

次へ

次は「FMアプリ評価と事業目標の整合」へ

基盤モデルの活用

FMアプリ評価と事業目標の整合

FMアプリ評価と事業目標の整合を、AIF-C01の公式objective 3.4.3・3.4.4・3.4.5に沿って、用語、判断順序、例、誤解修正で整理します。