基盤モデル選択と推論パラメータ | AWS Certified AI Practitioner

1 / 11 ブロック9%

イントロ

基盤モデル選択と推論パラメータ

モデル能力と、温度・入出力長の役割を分けて調整する

学習済みモデルそのものを変えず、生成時の候補選択や出力量などを制御する設定です。

定義

とは、学習済みモデルを変えず、生成時の候補選択や出力量を制御する設定です。
見分けるポイント: では、の能力、費用、を比較します。選択後はで候補の多様性を、とで扱う情報量を調整します。は繰り返す入力の処理を再利用します。

手順

選択と調整を分ける

1
用途の必須・言語・文脈長・統制条件でモデルを選ぶ。
2
代表入力で品質、、費用を比較する。
3
創造性と再現性の要求に合わせてtemperature等を調整する。
4
入出力長、停止条件、キャッシュ効果を測り、全条件をする。

要点

判断で押さえる境界

モデルを替える問題と、同じモデルの生成条件を調整する問題を混同しません。画像入力に非対応ならtemperatureでは解決できず、モデル選択へ戻ります。回答が冗長なら出力上限や指示を見直せますが、短くし過ぎると必要事項を欠きます。パラメータごとに変えられる性質を確認します。

1
必須能力はモデル選択で満たす
2
推論パラメータは生成時の挙動を調整
3
temperature低下は事実保証ではない

基盤モデル選択と推論パラメータについて用途要件、FM能力・制約、温度・入出力長、評価：品質・費用・遅延の関係を文字ラベルと矢印で示した図 — 変えにくいモデル能力と、一回ごとに調整する推論設定を層で分けた図です。最後に共通評価へ戻します。

例

場面: 規程FAQでは回答を簡潔かつ安定させ、広告案では多様な候補を出したい状況です。
順に考えると: 両方で同じFMが最低要件を満たすなら、FAQは低めのtemperatureと短い出力形式、広告案は評価済みの範囲で多様性を上げる設定を試します。ただしFAQの根拠不足はtemperatureでは直らないため、や資料品質を見直します。設定変更ごとに代表質問で誤りと費用を測ります。
ここが結論: モデル能力、文脈、推論設定のどこを変えるべきか診断できます。

注意

temperatureを0にしても真実保証にはならない

確認

AIF-C01 判断チェック

Q1

画像入力が必須なのに候補モデルが文章専用の場合、最初に行う判断はどれですか。

まとめ

まとめ

1
FMは能力・費用・遅延・長さ・統制で選ぶ
2
推論パラメータは生成時挙動を調整
3
設定ごとに代表入力で評価する
4
能力・文脈・設定の問題を切り分ける

次へ

次は「RAGとベクトルデータベース」へ

基盤モデルの活用

RAGとベクトルデータベース

RAGとベクトルデータベースを、AIF-C01の公式objective 3.1.3・3.1.4に沿って、用語、判断順序、例、誤解修正で整理します。