イントロ
基盤モデルのカスタマイズ戦略
知識更新、振る舞い変更、規模縮小を別の手段として選ぶ
目的に合わせて、入力文脈、外部知識、追加学習、または小型モデルへの知識移転を使い、モデル利用の振る舞いや効率を調整することです。
上下にスクロールするかキーボードの上下キーを使うと、次の学習カードへ進めます。
知識更新、振る舞い変更、規模縮小を別の手段として選ぶ
目的に合わせて、入力文脈、外部知識、追加学習、または小型モデルへの知識移転を使い、モデル利用の振る舞いや効率を調整することです。
不足が指示、最新知識、専門的振る舞い、推論効率のどれか診断する。
まずや少数例で要件を満たせるか試す。
更新知識ならRAG、安定した振る舞いなら微調整を比較する。
大量学習や蒸留は、長期効果が費用・データ・運用を上回る場合だけ選ぶ。
へ領域知識を加えるは、データ・費用・運用の負担が大きくなります。改定が多い知識はRAG、安定した振る舞いは微調整を候補にし、同じ基準でします。
不足の種類を先に診断
知識更新はRAG、振る舞い適応は微調整が候補
重い学習ほどデータ・費用・運用責任が増える
頻繁に改定される社内規程を根拠付きで回答したい場合の第一候補はどれですか。
文脈学習は重みを変えず素早く試す
RAGは更新知識を回答時に追加
微調整は振る舞い適応の候補
継続事前学習・蒸留は費用対効果を厳しく見る
今の内容と近いトピックを並べて、学習範囲を広げやすくしています。