Key Feature

モデル管理は、以下の4つのコア機能を提供します：

• Model Registry: モデルの登録と管理
• Model Serving: モデルのデプロイと提供
• Playground: モデルのテストと検証
• Monitoring & Management: モデルの運用監視

ヒント

ヒント: 初めてのユーザーの場合は、モデルレジストリ → モデル提供 → プレイグラウンドの順で学ぶことをお勧めします。

モデルレジストリ

AI/MLモデルを安全に保存し、バージョン管理を行うための集中リポジトリです。

主な機能

• モデルストレージ: Hugging Faceからモデルをインポートするか、カスタム開発したモデルを登録
• バージョン管理: Gitベースのバージョニングとタグ付け
• メタデータ管理: モデルの説明、フレームワーク、タスクタイプなどの情報を管理
• アクセス制御: プライベート/パブリックオプションで共有範囲を設定
• モデル検索: プロジェクトやタグでモデルを検索およびフィルタリング

ユースケース

• Hugging Face Hubから事前トレーニング済みモデルをインポート
• カスタム開発したモデルをアップロードし、バージョン管理
• チーム間でモデルを共有および再利用

モデル提供

登録されたモデルをKubernetesクラスターにデプロイし、ライブサービスとして利用可能にします。

主な機能

• ワンクリックデプロイ: 簡単な設定で本番環境にデプロイ
• リソース管理: CPU、メモリ、GPUリソースを最適化
• マルチクラスターサポート: 複数のクラスターにデプロイを分散
• エンドポイントプロビジョニング: REST APIを介した推論サービス

ユースケース

• 完成したモデルをステージングまたは本番環境にデプロイ
• GPUリソースを活用した高性能モデルを提供

プレイグラウンド

コーディングなしでブラウザから直接デプロイされたモデルをテストするためのインタラクティブな環境です。

主な機能

• インタラクティブテスト: ウェブUIを通じてモデルとリアルタイムで対話
• パラメータ調整: 温度、最大トークンなどのパラメータを即座に変更します。
• パフォーマンス検証: 応答時間やトークン使用量などのメトリクスを確認します。
• 様々なモデルタイプをサポート:
  • チャット (GPT, LLaMA など)
  • テキスト補完
  • 埋め込み
  • 画像生成
  • 音声 (TTS, STT, 翻訳)

ユースケース

• デプロイ前のモデルパフォーマンス検証
• 様々な入力値での応答テスト
• 最適な推論パラメータを見つける

モニタリングと管理

デプロイされたモデルのステータスをリアルタイムで追跡し、管理します。

主な機能

• リアルタイムモニタリング: ポッドのステータスとリソース使用量を監視します。
• ログ管理: リアルタイムでログをストリーミングし、検索します。
• デプロイメント制御: デプロイメントの開始、一時停止、停止、削除の機能。

ユースケース

• プロダクションモデルのステータスとパフォーマンスを監視します。
• ログを分析し、問題が発生した際にトラブルシューティングを行います。
• リソース使用量に基づいて操作を最適化します。