Inference Service List

Inference Service List 画面では、システム管理者がシステム内のすべての推論サービスを表示、フィルタリング、および管理できます。

Inference Service List画面にアクセス

システム管理者コントロールパネルから、メインナビゲーションでModel をクリックします。次に、左側のナビゲーションでInference Service List.を選択します。

デプロイされたモデルを検索

Search機能を使用して、特定のモデルを迅速に見つけることができます。検索は以下のフィルターに基づいて行うことができます：

• Name: デプロイメント名でフィルタリング。
• Status：モデルのステータスでフィルタリング（例：実行中、準備完了でない、停止）
• Namespace：名前空間でフィルタリング。
• Cluster：クラスターでフィルタリング。

システムは、ユーザーが基準を選択したり値を入力したりする際に、モデルリストをリアルタイムで自動的に更新します。

デプロイされたモデルリストを表示

ユーザーは、以下の情報を含むデプロイされたモデルリストを表示できます：

• Deployment name
• Cluster：クラスターの名前
• Namespace：デプロイメントの名前空間
• Deployed model：デプロイされたモデルの名前
  • Orange：プロジェクト名
  • Blue：モデルのバージョン（タグ）
• Framework：提供フレームワーク
• Status：モデルのステータス（例：実行中、準備完了でない、停止、未知）
• Resources：
  • Blue：CPU情報
  • Purple：RAM情報
  • Green/ Orange/ Outline：GPUリソースプロファイルの名前
    • 緑：フルGPU
    • オレンジ：MIG
    • アウトライン：GPUなし
  • Light cyan：GPUリソースプロファイルの数
  • Gray：プール名
• Endpoint：モデルURL
• Created at：デプロイメント作成日時

アクションメニュー

開始

• モデルのステータスが「停止中」の場合のみ表示されます。
• ユーザーがモデルを初期化して実行するプロセスをトリガーできるようにします。

Playground

ユーザーがデプロイされたモデルをリアルタイムでテストし、そのパフォーマンスを検証できるようにします。

Pause

• モデルのステータスが「準備完了ではない」または「実行中」の場合のみ表示されます。
• ユーザーが実行中のモデルを停止できるようにします。

Detail

クリックすると、ユーザーはデプロイメント詳細画面に移動します。

Edit

クリックすると、ユーザーはデプロイメント詳細画面に移動します。