ノードビューは、クラスター内のすべてのGPUノードを表示し、各ノードにインストールされている各GPUの物理的なレイアウトと個々のステータスを詳細に示します。これは、ハードウェアレベルの問題を診断し、ノード内のGPU間のパフォーマンスの違いや熱問題を特定するために不可欠です。
ノードビュー画面へのアクセス
Cluster Listから、クラスターカードをクリックすると、対応するクラスターのNode Viewに移動します。
この画面はtwo view modes (Grid View and Table View)をサポートしており、ユーザーが異なる方法でデータを表示および管理できるようにします。
テーブルビュー
①~③ GPUリソースの概要
④ GPUおよびMIGインスタンスのメトリクス
⑤ GPUおよびMIGインスタンスの詳細仕様
GPUリソースの概要
リソース概要
- 目的: システム内のノード、GPU、およびMIGの集計統計を表示し、それに対応するステータスを示します。
- 表示される情報:
- Node: クラスター内のノードの数。
- GPU: クラスター内のGPUの数。
- MIG: クラスター内のMIGインスタンスの数。
- Error/Throttling/Caution: エラー、スロットリングイベント、および警告の数に関する統計。
プロファイル分布
- 目的: クラスター内の各MIGプロファイル仕様とフルGPUの数を、プロファイル仕様とステータスで分類して表示します。
- 色: 色は、セクション④で選択されたメトリックに応じて異なります。
- 統計カテゴリ: 1G, 2G, 3G, 4G, 7G, フル
- 表示される情報:
- 中心値: クラスター内の対応するプロファイルの総数。
- カラーマーカー: 各ステータスに対応する色を表示し、そのステータスのプロファイルの数を示します。
プロファイルステータスの視覚化
- 目的: 各ノード内のGPUのステータスを表示し、管理者に全体のビューを提供し、ステータスの監視を容易にします。
- このセクションは複数のブロックで構成されており、それぞれが5つの列を含んでいます。各列はノードを表します。
- 列の下のタイルは物理GPUを表し、各タイルの色はそのステータスを示します：
- グレー: 不明/未割り当て
- 青: 優秀、良好
- 黄: 悪い、貧弱
- 赤: 警告、重大
⇒ フルGPUモードでは、ステータスはGPUインスタンス自体の状態を反映します。
MIGモードでは、ステータスはGPUのMIGインスタンスの中で最も悪いステータスによって決まります。
GPUおよびMIGインスタンスメトリクス
- 目的: 各ノードのGPUおよびMIGインスタンスメトリクスを特定のメトリクスに基づいて視覚的に表示します。このビューを通じて、ユーザーは各ノードにどれだけのGPUがあるか、各GPUにどれだけのMIGインスタンスが構成されているか、そしてそれに対応するメトリクスを特定できます。
- ユーザーがGPUまたはMIGインスタンスにマウスをホバーすると、その要約情報が表示されます：
- Node Name: クラスター内のノードの名前で、GPUまたはMIGインスタンスがどのノードに属しているかを特定するために使用されます。
- GPU Name: GPUの名前。
- Profile Name: MIGプロファイルの名前。
- Status Reason: プロファイルの現在のステータスを説明する理由。
- MIGインスタンスをクリックすると、右側にパネルが開き、対応するGPUまたはMIGインスタンスに関する詳細情報が表示され、パフォーマンスとステータスの変化が時間とともに示されます：
- ヘッダー: クラスター名、ノード名、GPU名を「クラスター名/ノード名/GPU名」の形式で表示します。
- 一般情報：
- プロファイル: プロファイルの名前
- ステータス
- ステータス理由
- ワークロード
- パフォーマンストレンド：
- SM Activity: GPU内の物理計算ユニット（SM）の活性化比率（%）
- SM Occupancy: SM上のアクティブワープの比率と最大サポートワープの比率、CUDAカーネルがGPUリソースをどれだけ効率的に利用しているかを示します（%）
- SM Clock: SMの現在の速度（MHz）
- Tensor Active: テンソルコアがアクティブかどうかを示します。
- Memory performance:
- メモリ使用量: 現在使用中のメモリの割合（%）
- メモリ帯域幅: GPUメモリの読み書き速度（%）
- Status Trend:
- 温度と電力
- Temperature: GPUまたはMIGインスタンスの温度（°C）
- Power: 消費電力（W）
- ECCエラー（GPU）:
- ECC Volatile: 揮発性ECCエラーの数
- ECC Aggregate: 累積ECCエラーの総数
- 温度と電力
GPUおよびMIGインスタンスの詳細仕様
- 目的: 各GPUまたはMIGインスタンスの詳細なメトリクスを表示します。
- 表示される情報:
- Node: GPUまたはMIGインスタンスが存在するノードの名前。
- Device: デバイスID
- Profile: プロファイルの名前。
- Status: プロファイルの現在の状態。
- Fire icon: ハードウェア熱制限が有効か無効かを示します。
- Lightning icon: GPU電力制限（消費電力制限）が有効か無効かを示します。
- Thermometer icon: ソフトウェア熱制限の状態を示します。
- Assigned:
- プロファイルが割り当てられているポッドを表示し、形式はポッドネームスペース（青）/ポッド名です。
- プロファイルにECCエラー（揮発性ECCエラーおよび累積ECCエラーを含む）がある場合、隣のアイコンがハイライトされます。
- SM Act: SMアクティビティ - GPU内の物理計算ユニット（SM）の活性化比率。
- SM Occ: SM Occupy - SM上のアクティブワープの比率と最大サポートワープの比率、CUDAカーネルがGPUリソースをどれだけ効率的に利用しているかを示します。
- SM Clk: SM Clock - SMの現在の速度と最大速度の比較。
- Tensor: テンソルコアが現在利用されているかどうかを示します。
- Mem Use: Memory Usage - 使用中のGPUメモリの割合/利用可能なメモリの合計。
- Mem Clk: Memory Clock - GPUコアとVRAM間でデータが転送される速度を決定します。
- Temp: Temperature - GPUの温度。
- Power: Power - GPUの電力消費。
Filter
ユーザーがセクション④と⑤を異なる基準でフィルタリングできるようにします：
- Profile Status: 利用可能なステータスフィルタ値は、セクション④で選択されたタブに依存します。（例：Critical/Warning、Bad/Poor、Good/Excellent、Unknown）
- Assigned: プロファイルがポッドに割り当てられているかどうかを決定します。
⇒ ユーザーはプロファイルステータスと割り当て条件を組み合わせてフィルタを適用できます。
Grid View
- ~ 3) GPUリソースの概要
4) GPUおよびMIGインスタンスメトリクス
Summary of GPU Resource
Resource Summary
テーブルビューと同じ
Profile Availability
- 目的: プロファイル仕様によって分類された利用可能なプロファイルの割合を表示します。
- 色:
- 緑: 60%以下
- オレンジ: 61%以上
- 統計カテゴリ: 1G, 2G, 3G, 4G, 7G, Full
- 表示される情報:
- 中央値: 利用可能なプロファイルの割合を表示します。
- 利用可能なプロファイルの割合 = (利用可能なプロファイルの数 : プロファイルの総数) x 100%
- 中央値: 利用可能なプロファイルの割合を表示します。
Profile Distribution
- 目的: 各MIGプロファイル仕様の数を、プロファイル仕様ごとに分類して表示します。
- 色: 色は、④のセクションで選択されたメトリックに応じて異なります。
- 統計カテゴリ: 1G, 2G, 3G, 4G, 7G, フル
- 表示情報:
- 各バーは、異なるプロファイルステータスを表す複数の色のセグメントに分割されたデータを表示します。
- 各バーの右側にはプロファイルの総数が表示され、管理者は全体の中で各ステータスの割合を簡単に観察できます。
GPUとMIGインスタンスメトリクス
テーブルビューと同じ
フィルター
ユーザーがセクション4を異なる基準でフィルタリングできるようにします:
- プロファイルステータス: 利用可能なステータスフィルタ値は、セクション4で選択されたタブに依存します（例: クリティカル/警告、悪い/貧弱、良い/優秀、未知）
- 割り当て済み: プロファイルがポッドに割り当てられているかどうかを判断します。
最後に、ユーザーはプロファイルステータスと割り当て条件を組み合わせてフィルターを適用できます。