メインコンテンツまでスキップ

Overview - NPU Platform

Overview​

NPUダッシュボードは、システム管理者がコンピューティングインフラストラクチャ内のニューラルプロセッシングユニット（NPU）リソースを監視および管理するためのメインページです。カード、チャート、テーブルを使用して、NPUの割り当て、利用状況、およびプロジェクト固有の消費のリアルタイム視覚化を提供します。このダッシュボードはGPUダッシュボードを補完し、両方の計算アクセラレーターにわたる統一されたリソース監視を提供します。

NPUダッシュボードへのアクセス​

NPUダッシュボードを開くための簡単な手順：

  • 上部バーの GPU をクリックします。
  • タブ Overview, で、右上隅の Platform をクリックします。
  • 次に、NPU. をクリックします。

1. Total NPUs Card​

  • Purpose: システムに登録されているNPUリソースの総数とその運用状況を表示します。
  • Displayed information:
    • 総NPUs: すべてのクラスターにわたるNPUアクセラレーターの総数。
    • ステータス別のNPU数: 運用状況のReady、Failedの内訳。
  • Action: Total NPUラベルをクリックすると、リソースの詳細なインベントリとプール管理のための GPU Pools Management ページに移動します。
  • Status Definitions:
    • Ready: NPUは稼働中で、タスクの割り当てが可能です。
    • Failed: NPUに故障が検出され、調査が必要です。

2. カードの利用状況​

  • Purpose: インフラストラクチャ全体のリアルタイムNPU利用率（%）を、割り当て状態別に表示します。
  • Displayed information:
    • 利用率: 現在アクティブに使用されているNPUの総容量の割合。利用率 = (使用中 / 総NPUs) × 100%。
    • 利用可能: 新しいワークロードの割り当てのために準備ができているNPUの数。
    • 使用中: 現在ワークロードを実行しているNPUの数。
  • Action: Utilizationラベルをクリックすると、使用傾向と予測の詳細分析のためのGPU Capacity Managementページに移動します。

Note: NPUのワークロードパターンは、推論とトレーニングモデルの分割により、GPUとは異なることがよくあります。正確なキャパシティプランニングのために別々に監視してください。

3. 使用分析チャート​

3.1 クラスター使用チャート​

  • Purpose: ドーナツチャートを使用して、クラスター全体のNPUリソースの割り当てと利用状況を視覚化し、クラスターレベルのリソース分配に関する即時の洞察を提供します。
  • Display information:
    • Total: 選択したクラスターの総NPU数。
    • Used: ワークロードを積極的に実行しているNPU。
    • Allocated: プールに割り当てられているが、まだ使用されていないNPU。
    • Available: 割り当てられていないNPUで、新しいプールの作成に利用可能。
  • Cluster Filter: 特定のクラスターの統計を表示するためのドロップダウンセレクター。
  • Use cases:
    • 異なるクラスター間での割り当てと利用の比較。
    • 新しいワークロードを指示するための高可用性のクラスターの特定。
    • 割り当ての不均衡（高い割り当て、低い利用）のあるクラスターの特定。
    • キャパシティプランニングとワークロード分配の決定をサポート。
  • Interpretation logic:
    • Used: ワークロードを積極的に処理しているNPU（ランタイムメトリクスから）。
    • Allocated: プールに割り当てられているがアイドル状態（プールの割り当てとアクティブな使用の差）。
    • Available: まだ割り当てられていない（合計 - 割り当て済み - 使用済み）。
    • チャートのスライスサイズは、パーセンテージではなく実際のリソース数を反映します。

NPU-specific considerations: GPUとは異なり、NPUは通常、可変バッチサイズの推論ワークロードを実行します。使用/割り当て比率を監視して、未活用のプールやワークロード統合の機会を特定してください。

  • Actions: ドーナツチャートの色付きセグメントにマウスをホバーすると、ツールチップに以下の情報が表示されます：
    • Segment Name （例："使用中"、"割り当て済み"、"利用可能"）
    • Count の状態のNPUs - そして percentage
    • Hardware Spec （例："RBLN-CA25"）
    • Total number of NPUs の状態で、percentage の総クラスター容量
備考

チャートエリアをクリックすることで、マルチリングドーナツチャートとシンプルドーナツチャートの表示モードを切り替えることもできます。

3.2 Usage by Project Chart​

  • Purpose: プロジェクト全体のNPU消費を可視化し、どのチームが最もリソースを消費しているかを示します。
  • Display information:
    • アクティブに使用されている個別のNPUカウントを持つ上位5つのプロジェクトが表示されます。
    • 残りのプロジェクトは Other カテゴリにグループ化されます。
    • 合計：すべてのプロジェクトの集計NPUカウント。
  • Use cases:
    • どのプロジェクトがリソース消費を支配しているかを監視します。
    • リソースの集中と潜在的なコストドライバーを特定します。
    • プロジェクトごとの需要トレンドを時間の経過とともに追跡します。
    • チャージバックと請求分析をサポートします。
  • Interpretation logic: スライスのサイズは、プロジェクトごとに使用中のNPUカウントに比例します。

Other カテゴリはチャート内で展開できません。詳細なプロジェクトごとの内訳を表示するには、NPU Pools ページまたは Pending Requests テーブルを使用してください。

  • Actions:
    • 各プロジェクト行をクリックして、ドーナツチャートから隠す/表示することができます。
    • 各色付きセグメントにマウスをホバーすると、プロジェクト名とアクティブに使用されているNPUのカウントが表示されます。

3.3 Usage by NPUタイプチャート​

  • Purpose: NPUハードウェア仕様（モデル、世代など）によるリソース利用状況を示し、ハードウェアレベルの消費追跡を可能にします。
  • Display information:
    • アクティブ使用数を示すトップ5のNPUタイプを個別に表示します。
    • 残りのタイプはOtherの下にグループ化されます。
    • 合計: すべてのタイプのNPU数を集計したものです。
  • Use cases:
    • どのNPUモデルが最も多く利用されているかを特定します。
    • ハードウェア特有のボトルネックや飽和状態を検出します。
    • 調達およびアップグレードの決定を通知するためのトレンドを分析します。
    • ワークロードとハードウェアのマッチングによるパフォーマンス最適化をサポートします。
  • Interpretation logic: スライスのサイズは、ハードウェアタイプごとのアクティブNPU数に比例します。
  • Actions: 各色のセグメントにマウスをホバーすると、そのタイプの名前とアクティブなNPUの総数を表示するツールチップが表示されます。

4. トップ5 NPUプールテーブル​

  • Purpose: 主なNPUリソースプールのリアルタイム概要を提供し、割り当て状況、利用状況、およびプロジェクトの割り当てを強調表示して、効果的なリソース管理をサポートします。
  • Display information:
    • Pool Name: NPUプールのユニークな識別子で、プールの詳細ページへのクリック可能なリンクです。
    • Project: 割り当てられたプロジェクト名; プロジェクトが割り当てられていない場合はUnassignedを表示します。
    • Type: NPUハードウェア仕様と数（例: "RBLN-CA25 ×32", "RBLN-CA50 ×16"）
    • Usage: 使用済み/総容量を表示します（例: "0/32", "16/32"）、プログレスバーで視覚化されます。
    • Status: 操作および割り当て状況。
      • Assigned（黄色） — プールはプロジェクトに所有されています。
      • Unassigned（緑） — プロジェクトの所有者がいないため、割り当て可能です。
  • Supporting Behaviors:
    • Sorting: 列ヘッダーをクリックして、プール名または使用率でソートします。
    • View All: NPUプールの在庫および管理インターフェースにアクセスします。
    • Progress Bar Colors:
  • グリーン: 低使用 (<33% の容量が利用されています)。
  • イエロー: 中程度の使用 (33–66% の容量が利用されています)。
  • レッド: 高使用 (>66% の容量が利用されています)。
  • Use cases:
    • 主要なプールの運用状況と利用状況を迅速に確認します。
    • 新しいプロジェクトの割り当てに利用可能な未割り当てプールを特定します。
    • ワークロードの再バランスが必要な過剰利用プールを見つけます。
    • プールの健康状態を監視し、必要に応じてメンテナンスウィンドウを計画します。