イントロ
AWSのAIライフサイクル・MLOps・評価
サービス配置、反復可能性、技術指標と事業成果をつなぐ
機械学習の実験、データ、モデル、展開、監視を再現可能かつ継続的に運用し、品質と変更を管理する考え方です。
AI・機械学習の基礎に戻る
学習モード
外観
1 / 11 ブロック9%
上下にスクロールするかキーボードの上下キーを使うと、次の学習カードへ進めます。
定義
- とは、機械学習の実験・データ・モデル・展開・監視を継続管理する考え方です。
- イメージすると
- は基盤モデルを用いた生成AIアプリ、はデータ準備から学習・展開・監視までの広いML工程を支えます。は業務情報やAWS開発、は調査・分析・自動化、は仕様駆動の開発を支援します。この運用では実験の記録、反復可能な工程、拡張性、技術的負債、モデル監視、モデル再学習を管理します。評価は精度だけでなくへ接続します。
手順
評価まで含むサービス配置
- 1
工程がデータ、モデル利用、学習、展開、業務アプリのどこかを決める。
- 2
AWSサービスを製品名ではなく、その工程の能力で対応付ける。
- 3
精度・適合率・再現率・F1など技術指標を誤りの種類に合わせる。
- 4
利用者当たり費用、開発費、顧客反応、など事業指標と同時に追う。
要点
判断で押さえる境界
が高くても、少数の重要な不正を見逃すなら業務には合いません。は陽性と判定した中の正しさ、は実際の陽性を拾えた割合、は両者の調和平均です。ただし最終判断は、検出による損失削減や担当者負荷など事業指標まで見ます。
- 1
サービスは工程の能力で対応付ける
- 2
・・・をMLOpsで管理
- 3
技術指標と事業指標を二層で評価
例
- 場面
- 不正取引モデルAは適合率が高く、モデルBは再現率が高い状況を比較します。
- 順に考えると
- 調査担当者が少なく誤警報を減らしたいなら適合率を重視する理由があります。見逃し損失が極めて大きいなら再現率を重視します。F1だけで決めず、調査費用、見逃し損失、顧客への影響を事業指標として加え、MLOpsで評価条件と変更履歴を再現可能にします。
- ここが結論
- 指標名を暗記せず、どの誤りを減らし、どの事業成果を守るかから選べます。
注意
Accuracyだけでは不均衡データを読めない
確認
AIF-C01 判断チェック
Q1
実際の不正をできるだけ見逃したくない場合、特に注目する指標はどれですか。
まとめ
まとめ
- 1
AWSサービスは工程上の能力で選ぶ
- 2
MLOpsは実験・展開・監視を反復可能にする
- 3
指標は誤りの種類に合わせる
- 4
技術指標を費用・顧客価値・ROIへつなぐ
次へ
次は「生成AIの構成要素：トークン・埋め込み・モデル」へ
関連トピック
近いテーマも確認する
今の内容と近いトピックを並べて、学習範囲を広げやすくしています。