メインコンテンツまでスキップ

概要

GPU概要画面は、オペレーターがシステム全体のGPUの健康状態を監視し、問題のあるGPUを特定し、アクティブなアラートを追跡し、詳細な調査画面に迅速に移動できるようにします。表示されるすべてのデータは、選択されたクラスター、ノード、およびプロジェクトフィルターに基づいてスコープが設定されています。

ヘッダーセクション

アイテム説明
InfraGPUの健康状態と問題追跡のためのインフラストラクチャ監視タブ。
PlatformプラットフォームベースのGPU監視タブ。
Clusterクラスターフィルター。
Nodeノードフィルター。
Projectプロジェクトフィルター。

使用法​

  • GPU概要メニューに移動します。
  • Infraタブを選択します。
  • 監視のスコープを絞り込むために、クラスター、ノード、またはプロジェクトを選択します。
  • システムは、選択されたフィルターに基づいて表示されるすべてのデータを自動的に更新します。

メトリックカード

メトリックカードは、選択されたスコープ全体のGPUの健康状態とステータスの簡単な概要を提供します。

  • 現在選択されているカードは、そのフィルターがアクティブであることを示すためにハイライト表示されます。
  • サービングカードは情報提供のみで、データフィルターとして機能しません。
カード説明
Total GPUフルGPUの総数。
Issue GPU現在問題を抱えているGPUの総数。
Softwareソフトウェア関連の問題を抱えているGPUの数。
Hardwareハードウェア関連の問題を抱えているGPUの数。
Serving現在SLOアラートの影響を受けているワークロードの数。
機能ユーザーアクション期待される結果
すべてのGPUを表示Total GPUカードをクリックします。システムは現在のスコープ内のすべてのGPUを表示し、アクティブなステータスベースのフィルターを削除します。
問題のあるGPUを表示Issue GPUカードをクリックします。システムは現在問題のあるGPUとして特定されているGPUのみを表示します。データセンタービューとGPUリストはそれに応じてフィルタリングされます。
ソフトウェアの問題を表示Softwareカードをクリックします。システムはソフトウェア関連の問題として分類されたアラートを持つGPUのみを表示します。データセンタービューとGPUリストはそれに応じてフィルタリングされます。
ハードウェアの問題を表示Hardwareカードをクリックします。システムはハードウェア関連の問題として分類されたアラートを持つGPUのみを表示します。データセンタービューとGPUリストはそれに応じてフィルタリングされます。

データセンタービュー

Data Center Viewは、データセンター内の物理GPUレイアウトの視覚的表現を提供し、オペレーターが影響を受けたラックやGPUを迅速に特定できるようにします。

  • GPU情報は3秒ごとに自動的に更新されます。
  • GPUにカーソルを合わせると、現在のテレメトリメトリクスを迅速に表示できます：
    • GPUステータス
    • SMアクティビティ
    • 温度
    • 電力消費
    • VRAM使用量
    • ワークロード情報（利用可能な場合）

ビューモードの切り替え​

データセンタービューは、フロアとラックの2つの表示モードをサポートしています：

  • フロアビューは全体のインフラストラクチャビューに使用されます。

  • ラックビューは詳細なGPUレベルの調査に使用されます。
  • フロアビューとラックビューの間を切り替えても、現在適用されているフィルタや表示されているデータには影響しません。

データセンタービューでGPUの色を観察し、画面の下部にあるカラーレジェンドと比較して、GPUに影響を与えている問題の種類を迅速に特定します。

表示目的説明
フロア選択した範囲内のラックのリストを表示します。• フロアビューはデフォルトの表示モードです。
• フロアをクリックして、選択した範囲内のすべてのラックを表示します。
• 各ラックは、そのラック名、合計GPU数、および色分けされたGPUブロックを通じてGPUの状態を表示します。
• GPUブロックにマウスをホバーすると、関連するGPU情報やアラートの詳細（利用可能な場合）を表示します。
• GPUブロックをクリックしてGPU情報と利用可能なアクションを表示し、次にメトリックの詳細、インベントリ、またはワークロードの詳細（利用可能な場合）を選択して、対応する画面に移動します。
• フロアビューを使用して、詳細な調査を行う前に異常なラックやGPUを迅速に特定します。
ラック特定のラック内のGPUの詳細なレイアウトを表示します。• ラックビューは、深いGPU調査のために設計されています。
• ラックをクリックして、フロアビューからラックビューに切り替えます。
• データセンターのタイトルは、選択したラック名（例えば、gpu-04 - R0）に置き換えられ、ラック内のGPUの合計数が表示されます。
• 各GPUは、ラック内の物理的位置を表す番号付きGPUブロック（#0、#1、#2、...）として表示されます。
• GPUの状態は、カラーレジェンドに従って色で示されます。
• GPUブロックにマウスをホバーすると、関連するGPU情報やアラートの詳細（利用可能な場合）を表示します。
• GPUブロックをクリックしてGPU情報と利用可能なアクションを表示し、次にメトリックの詳細、インベントリ、またはワークロードの詳細（利用可能な場合）を選択して、対応する画面に移動します。
• 前のボタンと次のボタンを使用して、フロアビューに戻ることなくラック間を移動します。

ノート​

  • 色は、画面全体のGPUの状態を表します。

色意味
青正常
オレンジソフトウェアの問題
赤ハードウェアの問題
ダークブルーサービングの問題

重要なアラート

  • クリティカルアラートは、現在開いているすべてのアラートを表示します。
アイテム説明
アラートメッセージアラートメッセージと問題の概要
責任問題の所有権分類（ソフトウェアまたはハードウェア）
アラート詳細アラート詳細ページへのリンク
  • アラートデータは10秒ごとに自動的に更新されます。

アラート詳細の表示​

  • 調査したいアラートを見つけます。
  • アラートの右側にある + ボタンをクリックします。
  • システムはアラート詳細画面に移動します。

アラートルール設定のオープン​

  • アラートリストの上にあるアラート設定リンクをクリックします。

→ システムはアラートルール設定画面に移動します。

注意事項​

  • アラートは最新の更新に基づいて降順で表示されます。
  • 開いているアラートが存在しない場合、システムは「クリティカルアラートはありません」と表示します。

GPUリスト

このセクションでは、現在のスコープ内のすべてのGPUとその運用状況、検出された異常を表示します。

列説明
GPUGPUの名前またはインデックス
クラスターGPUをホストしているクラスター
プロジェクト現在GPUを使用しているプロジェクト
ステータス現在のGPUの状態
SMGPUの利用率（%）
TempGPUの温度
Power現在の電力消費量
VRAM現在のVRAM使用量
WorkloadGPUに割り当てられたワークロード
SymptomGPUが異常としてフラグ付けされる理由

GPU情報の表示​

  • GPUリストセクションまでスクロールします。
  • 各GPUの情報を確認します。
  • ステータス列をチェックして、GPUがFREE、IDLE、または他の状態であるかを確認します。
  • GPUの動作状態を評価するために、温度、電力、VRAMを確認してください。
  • 現在GPUを使用しているワークロードを特定するために、ワークロードを確認してください。
  • 異常な動作の原因を特定するために、症状を確認してください。

一般的な症状​

症状意味
GPU XIDエラーが検出されましたGPU XIDエラーが検出されました。
GPUメモリがOOMに近いGPUメモリの使用量がアウトオブメモリの閾値に近づいています。
GPUクロックのスロットリングが検出されましたシステムの条件により、GPUのクロック周波数がスロットリングされています。