推論方式とデータの種類

イントロ

応答期限とデータ形状から処理方式を選ぶ

学習済みモデルへ新しい入力を与え、分類、数値、文章などの出力を得る処理です。

定義

とは、学習済みモデルへ新しい入力を与え、予測や生成の出力を得る処理です。
見分けるポイント: は多数の入力をまとめて処理し、は対話中のような短い応答を重視します。は処理時間が長い要求を受け付けて後で結果を返します。は常時稼働する基盤を持たず、変動する呼び出しに合わせやすい方式です。入力側では、と、表形式データ・時系列データ・画像・文章、構造化データとを見分けます。

手順

要点

データ形式と推論方式は別の軸です。画像だから必ずリアルタイム、表形式だから必ずバッチとは決まりません。夜間に大量の画像を分類するならバッチ、窓口で一枚ずつ本人確認を補助するなら低遅延の推論というように、利用場面が方式を決めます。

例

場面: 毎晩100万件の売上行へ需要予測を付け、翌朝までに分析画面へ反映します。
順に考えると: 利用者が一件ごとの即時応答を待っているわけではなく、同じ締切までに大量の表データを処理できます。したがってバッチ推論が自然です。売上行は列が定義されたかつで、時刻順に追う場合はとして捉えます。
ここが結論: 『大量だから高速エンドポイント』ではなく、期限とまとめ処理の可否からバッチを選べます。

注意

確認

Q1

翌朝までに大量の画像へラベルを付ける処理に最も合う方式はどれですか。

まとめ

教師あり・教師なし・強化学習を、AIF-C01の公式objective 1.1.5に沿って、用語、判断順序、例、誤解修正で整理します。

新しいカテゴリが追加されました