メインコンテンツまでスキップ

Architecture

コントロールプレーン​

  • Model Registry: モデルのメタデータとバージョンを管理し、Hugging FaceからGiteaへの移行をサポートし、内部モデルリポジトリをGitにアップロードすることを可能にします。
  • Model Deploy/Orchestrator: デプロイメントワークフロー、ターゲットクラスターの選択を処理し、InferenceService (ISVC) の仕様を生成します。
  • AI Gateway: APIエントリーポイント、認証/認可、ルーティング
  • Playground: デプロイされたモデルの実世界での検証とテストのためのUI。
  • MCM Service: マルチクラスターリソースを管理および監視します（各クラスターからK8sリソースのステータスを収集し、デプロイメントコマンドを発行します）。

データプレーン（各K8sクラスター内）​

  • KServe (Agent/Controller): InferenceService (ISVC) の仕様を受け取り、実際のPods/Containersを作成します。
  • Model Artifact Puller: Giteaからモデルをダウンロードし、再利用のためにPVCに保存します。
  • Serving Runtime (e.g., vLLM): モデルをロードし、ランタイムコンテナを介して推論を提供します。
  • Health/Log/Metric Endpoints: ステータス（Ready/NotReady）、ログストリーミング、およびリソース使用量のメトリクスを公開します。