MLOpsの基礎と応用

AIを使った新規サービスの立ち上げや既存業務の改善を試行するプロジェクトは年々増えていますが、実ビジネスへ本格導入に至らないケースが散見されます。 　主な理由は二つあり、一つ目は限られたPoC期間内に実業務に耐えられるレベルまでAIの精度を向上しきれないケースと、二つ目は機械学習の開発担当者が作成したAIモデルをシステム開発担当者が引き継いで商用システムへ導入しますが、コミュニケーションや作業の分割コストにより導入に時間がかかるケースが挙げられます。 　加えて昨今は、コロナウィルス感染拡大の影響で人の行動様式が日 – 週単位で変化するため、変化前にデータサイエンティストがチューニングしたAIモデルの精度が陳腐化し、役に立たなくなるケースが多くなっています。このような状況を踏まえて、MLOpsが注目されております。本講演では、上記の最新動向・事例に関してご紹介をさせて頂きます。

1. 機械学習プロジェクトはなぜ商用化でつまずくのか
   1. AIを活用した新規サービス開発の全体像
      1. 企画・戦略構想、PoC、開発、運用の各フェーズ
      2. Biz視点とAI/ML視点で異なる成功条件
      3. PoV・PoC・PoBの位置づけと役割
   2. PoCから商用適用に進めない主な理由
      1. 精度面がネックとなるPoC停滞
      2. モデルチューニング回数とPoC成功率の関係
      3. 試行錯誤を高速化することの重要性
   3. 商用開発フェーズで顕在化する課題
      1. Data、ML、Dev、Ops間のケイパビリティギャップ
      2. AIモデル以外の周辺機能整備の負荷
      3. データ品質、デプロイ、監視、運用設計の難しさ
   4. 運用フェーズで価値が伸び悩む理由
      1. 継続的なモデル改善が止まる構造
      2. 運用コスト増大と顧客エンゲージメント低下
      3. リリース頻度とサービス価値向上の関係
2. MLOpsによる解決アプローチ
   1. MLOpsの基本概念
      1. DevOpsの機械学習版としてのMLOps
      2. ML開発者と運用担当者の協調モデル
      3. 実装から商用運用までを円滑化する考え方
   2. MLOps導入で目指す姿
      1. モデルチューニング回数の増加
      2. デプロイ・評価・再学習の自動化
      3. 継続的なビジネス価値改善
   3. MLOpsを支える標準化・仕組み化
      1. 業務フローと実施要領の整備
      2. 本番移行判断基準の明確化
      3. 運用ルール・役割分担・チェック項目の整備
   4. MLOpsツールチェーンの全体像
      1. データ確認・前処理・学習・評価・デプロイ
      2. 実験管理、モデル管理、パイプライン、監視
      3. OSS、クラウドサービス、商用製品の使い分け
3. MLOps導入事例1:仮説検証からデータドリブン型開発へ
   1. データドリブン型機械学習プロジェクトの進め方
      1. Biz、Data、ML、Dev、Opsの役割整理
      2. ビジネス課題をAI課題へ翻訳する流れ
      3. 仮説設定、開発、効果測定、改善のサイクル
   2. ロールごとに異なる開発プロセスの統合
      1. Biz:リーン型の仮説検証
      2. Data:データ準備・品質管理
      3. ML:CRISP – DMをベースにしたモデル開発
      4. Dev:アジャイル開発とリリース
      5. Ops:ITIL/運用監視
   3. KGI・CSFによる改善指標の設計
      1. ROIを起点としたKGI分解
      2. 精度改善仮説検証回数とリリース成功回数
      3. DevOps指標による継続改善
   4. スピードと品質を両立する運用設計
      1. リードタイム
      2. デプロイ頻度
      3. 変更失敗率
      4. 平均復旧時間
      5. 振り返り・ポストモーテムによる改善バックログ化
4. MLOps導入事例2:非構造データ×AIにおける運用コスト低減
   1. 画像・動画AIが高コスト化しやすい理由
      1. 非構造化データ特有の開発・運用負荷
      2. GPU利用による学習・推論コスト
      3. アノテーション、前処理、再学習の工数増大
   2. コスト削減の全体アプローチ
      1. 学習データ生成コストの削減
      2. 開発効率改善による工数削減
      3. 学習・推論コストの最適化
      4. 複数施策の組み合わせによるROI成立
   3. 画像アノテーション効率化
      1. CVAT等のアノテーションツール活用
      2. Automatic Annotationによる作業削減
      3. Active Learningによる重点的な再ラベリング
      4. AIと専門家の役割分担
   4. 画像前処理・実写画像生成による精度改善
      1. 古典画像処理による前処理
      2. 実写画像取得の重要性
      3. 光源・角度・撮影条件のバリエーション確保
   5. 分散学習による学習時間短縮
      1. 大規模モデル学習のボトルネック
      2. GPUノード活用とKubernetesによるリソース抽象化
      3. Horovod等を用いた分散学習
   6. DSとDevの連携効率化
      1. Notebookから商用実装へ移行する際の課題
      2. モデルフォーマット標準化
      3. MLflow Models等による推論呼び出しの標準化
   7. 学習・推論コストの最適化
      1. モデル構造最適化
      2. 量子化・枝刈り・コンパイラ活用
      3. GPU/ASIC/推論基盤の使い分け
5. MLOps個別技術解説
   1. MLOps全体のPDCAサイクル
      1. 開発・学習
      2. デプロイ・推論
      3. 精度監視
      4. データ作成・再学習
   2. 実験管理
      1. 実験結果のトラッキング
      2. 複数実験の比較
      3. 再現性の確保
      4. MLflow等の活用
   3. パイプライン自動化
      1. 前処理、学習、評価、登録の自動化
      2. Airflow、Kubeflow、MLflowの比較
      3. CI・CT・CD・CMの導入イメージ
   4. 継続的モデル精度監視
      1. データドリフト・コンセプトドリフトの考え方
      2. ベースラインデータと推論データの比較
      3. KS検定・カイ二乗検定による検知
      4. 劣化検知後の再学習・切り戻し
   5. サービングとモデル管理
      1. モデルレジストリ
      2. オンラインサービング
      3. REST APIとgRPCの違い
      4. TensorFlow Serving、TorchServe、MLflow、KFServing等の比較
   6. 説明可能性
      1. ブラックボックスモデルにおける説明責任
      2. LIMEによる局所説明
      3. SHAPによる特徴量重要度の可視化
   7. 特徴量自動生成・選択
      1. 差分特徴・比率特徴・カテゴリ変数エンコーディング
      2. 分散フィルタ・相関係数フィルタ
      3. 重要度・正則化・Permutation Importanceによる選択
   8. ハイパーパラメータチューニング
      1. グリッドサーチ
      2. ランダムサーチ
      3. ベイズ最適化
      4. Optuna、Hyperopt等の活用
   9. 柔軟なGPUリソース確保とデータ管理
      1. KubernetesによるGPUリソース管理
      2. 分散学習の設計ポイント
      3. DVCによるデータバージョン管理
6. まとめ
   1. 機械学習プロジェクト成功の要点
      1. PoCで終わらせないための試行錯誤高速化
      2. MLモデル以外の周辺系整備
      3. 運用開始後の継続的な価値改善
   2. MLOps導入による期待効果
      1. 開発スピード向上
      2. リリース品質向上
      3. 運用コスト低減
      4. 顧客エンゲージメント向上
   3. 質疑応答・個別相談案内
      1. 自社AIプロジェクトへの適用相談
      2. MLOps基盤・ツール選定相談
      3. PoCから商用化への移行相談