节点视图显示集群内所有GPU节点，并详细展示每个节点上安装的每个GPU的物理布局和个体状态。这对于诊断硬件级别的问题以及识别节点内GPU之间的性能差异或热问题至关重要。
访问节点视图屏幕
从 Cluster List，点击集群卡片将导航到相应集群的 Node View。
该屏幕支持 two view modes (Grid View and Table View)，允许用户以不同方式查看和管理数据。
表格视图
①~③ GPU资源摘要
④ GPU和MIG实例指标
⑤ GPU和MIG实例的详细规格
GPU资源摘要
资源摘要
- 目的：显示系统中节点、GPU和MIG的汇总统计信息，以及它们相应的状态。
- 显示的信息：
- Node：集群中的节点数量。
- GPU：集群中的GPU数量。
- MIG：集群中的MIG实例数量。
- Error/Throttling/Caution：关于错误、限流事件和警告的统计信息。
配置文件分布
- 目的：显示集群中每种MIG配置文件规格和完整GPU的数量，按配置文件规格和状态分类。
- 颜色：颜色根据第④节中选择的指标而有所不同。
- 统计类别：1G、2G、3G、4G、7G、完整
- 显示的信息：
- 中心值：集群中相应配置文件的总数。
- 彩色标记：显示与每个状态相对应的颜色以及该状态下的配置文件数量。
配置状态可视化
- 目的：显示节点中每个 GPU 的状态，以便管理员获得整体视图并更容易监控它们的状态。
- 本节由多个块组成，每个块包含五列。每列代表一个节点。
- 列下的方块代表物理 GPU，每个方块的颜色表示其状态：
- 灰色：未知/未分配
- 蓝色：优秀，良好
- 黄色：差，较差
- 红色：警告，严重
⇒ 在完整 GPU 模式下，状态反映 GPU 实例本身的状态。
在 MIG 模式下，状态由 GPU 的 MIG 实例中最差的状态决定。
GPU 和 MIG 实例指标
- 目的：通过特定指标在每个节点上可视化显示 GPU 和 MIG 实例指标。通过此视图，用户可以识别每个节点有多少个 GPU，每个 GPU 配置了多少个 MIG 实例及其相应的指标。
- 当用户悬停在 GPU 或 MIG 实例上时，会显示其摘要信息：
- Node Name：集群中节点的名称，用于识别 GPU 或 MIG 实例所属的节点。
- GPU Name：GPU 的名称。
- Profile Name：MIG 配置文件的名称。
- Status Reason：解释配置文件当前状态的原因。
- 当点击 MIG 实例时，右侧会打开一个面板，显示有关相应 GPU 或 MIG 实例的详细信息，包括其性能和状态随时间的变化：
- 标头：以集群名称/节点名称/GPU 名称的格式显示集群名称、节点名称和 GPU 名称。
- 一般信息：
- 配置文件：配置文件名称
- 状态
- 状态原因
- 工作负载
- 性能趋势：
- SM Activity：GPU 内部物理计算单元 (SM) 的激活比率 (%)
- SM Occupancy: 活动波的比例在一个 SM 上与最大支持的波，指示 CUDA 内核如何有效地利用 GPU 资源 (%)
- SM Clock: SM 的当前速度 (MHz)
- Tensor Active: 指示张量核心是否处于活动状态。
- Memory performance:
- 内存使用率: 当前使用的内存百分比 (%)
- 内存带宽: GPU 内存的读/写速度 (%)
- Status Trend:
- 温度与功率
- Temperature: GPU 或 MIG 实例的温度 (°C)
- Power: 功耗 (W)
- ECC 错误 (GPU):
- ECC Volatile: 易失性 ECC 错误的数量
- ECC Aggregate: 累计的 ECC 错误总数
- 温度与功率
GPU 和 MIG 实例的详细规格
- 目的: 显示每个 GPU 或 MIG 实例的详细指标。
- 显示的信息:
- Node: GPU 或 MIG 实例所在节点的名称。
- Device: 设备 ID
- Profile: 配置文件名称。
- Status: 配置文件的当前状态。
- Fire icon: 指示硬件热限制是否启用或禁用。
- Lightning icon: 指示 GPU 功率限制（功耗限制）是否启用或禁用。
- Thermometer icon: 指示软件热限制的状态
- Assigned:
- 显示分配给该配置文件的 pod，以 pod 命名空间 (蓝色)/pod 名称的格式显示。
- 如果配置文件有 ECC 错误（包括易失性 ECC 错误和累计 ECC 错误），旁边的图标会高亮显示。
- SM Act: SM 活动 - GPU 内部物理计算单元 (SM) 的激活比例。
- SM Occ: SM 占用 - SM 上活动波的比例与最大支持波的比例，指示 CUDA 内核如何有效利用 GPU 资源。
- SM Clk: SM 时钟 - SM 的当前速度与其最大速度的比较。
- Tensor: 指示当前是否正在使用 Tensor 核心。
- Mem Use: 内存使用 - 使用的 GPU 内存百分比/可用内存总量。
- Mem Clk: 内存时钟 - 决定数据在 GPU 核心和 VRAM 之间传输的速度。
- Temp: 温度 - GPU 温度。
- Power: 功率 - GPU 功耗。
过滤器
允许用户使用不同的标准过滤第 ④ 和第 ⑤ 节：
- 配置文件状态：可用的状态过滤值取决于第 ④ 节中选择的选项卡。（例如，关键/警告，差/差，良好/优秀，未知）
- 已分配：确定配置文件是否已分配给 pod。
⇒ 用户可以通过组合配置文件状态和分配条件来应用过滤器。
网格视图
-
~ 3) GPU 资源摘要
-
GPU 和 MIG 实例指标
GPU 资源摘要
资源摘要
与表格视图相同
配置文件可用性
- 目的：显示可用配置文件的百分比，按配置文件规范分类。
- 颜色：
- 绿色：不超过 60%
- 橙色：超过 61%
- 统计类别：1G，2G，3G，4G，7G，满
- 显示的信息：
- 中心值：显示可用配置文件的百分比。
- 可用配置文件的百分比 = (可用配置文件数量 : 配置文件总数) x 100%
- 中心值：显示可用配置文件的百分比。
配置文件分布
- 目的：显示每个 MIG 配置文件规范的数量，按配置文件规范分类。
- 颜色：颜色根据第 ④ 节中选择的指标而有所不同。
- 统计类别：1G、2G、3G、4G、7G、完整
- 显示的信息：
- 每个条形图显示的数据分为多个颜色的段，每种颜色代表不同的配置文件状态。
- 每个条形图右侧显示配置文件的总数，方便管理员轻松观察每种状态在总数中的比例。
GPU 和 MIG 实例指标
与表格视图相同
过滤器
允许用户根据不同的标准过滤第 4 节和：
- 配置文件状态：可用的状态过滤值取决于第 4 节中选择的选项卡（例如，关键/警告，差/差劲，好/优秀，未知）
- 已分配：确定配置文件是否已分配给 pod。
最后，用户可以通过组合配置文件状态和分配条件来应用过滤器。