跳到主要内容

GPU Monitoring (Project Level)

GPU 监控屏幕允许用户监控分配给项目的 GPU 池的状态和使用情况。

部分 A：配置文件分布

部分 B：GPU 池卡片

配置文件分布​

  • 目的：显示分配给该项目的所有 GPU 池中配置文件的总数，按配置文件类型和状态分类。
  • 颜色表示配置文件状态。

GPU 池卡片​

每个卡片对应一个 GPU 池，并显示以下信息：

  • 标题：GPU 池名称
  • 使用状态：
    • 总计：分配给该池的 GPU 总数
    • 使用中：正在使用的 GPU 数量
  • 利用率：正在使用的 GPU 百分比
  • 分配：分配的资源数量，以“正在使用的配置文件数量/池中配置文件的总数量”的格式显示。
    • 进度条：绿色表示正在使用的配置文件；灰色表示可用的配置文件。
  • 标签：分配给该池的 GPU 配置文件规格。
  • 创建于：以 YYYY-MM-DD 格式显示池的创建日期。

当用户点击 GPU 池卡片时，系统会导航到相应 GPU 池的详细信息屏幕。该屏幕包括两个主要选项卡（分配选项卡和监控选项卡），用于了解池的配置和实际使用状态。

分配选项卡：资源配置概述​

分配选项卡显示 GPU 池的物理配置。它可视化哪些 GPU 及其配置文件被分配到该池，在哪些节点和集群中。

一般状态：

  • 使用中：分配给工作负载的配置文件数量。
  • 准备好: 未分配给工作负载的配置文件数量。

节点-配置文件 (资源分配)​

  • 目的: 显示每个配置文件规范中分配和未分配的 GPU 数量。
  • 状态:
    • 使用中 (绿色): 当前正在使用的配置文件
    • 可用 (灰色): 可用的配置文件

节点-GPU (物理 GPU 分配)​

  • 目的: 提供每个节点上 GPU 放置的详细显示。
  • 状态:
    • 使用中 (池) (绿色): 当前在此池中使用的配置文件。
    • 使用中 (外部) (绿色): 当前在另一个池中使用的配置文件。
    • 空闲 (白色): 可用的配置文件

监控选项卡: 实际使用情况​

  • 目的: 显示实际使用此池中 GPU 的 Pods。这是 GPU 池管理中最重要的选项卡，因为它允许在 Pod 级别跟踪资源使用情况。
  • 显示的信息:
    • Pod: Pod 名称
    • Profile: Pod 使用的 GPU 配置文件。
    • GPU: Pod 使用的 GPU 的 UUID
      • Fire icon: 指示硬件热限制是否启用或禁用。
      • Lightning icon: 指示 GPU 功率限制（功耗限制）是否启用或禁用。
      • Thermometer icon: 指示软件热限制的状态。
    • Status: 配置文件状态
    • SM Activity: GPU 内部实际计算单元 (SM) 的活跃百分比。
    • SM Occupy: SM 上活跃的 warp 与最大支持的 warp 的比率，指示 CUDA 内核如何有效利用 GPU 资源。
    • SM Clock: SM 的当前速度与其最大速度的比较。
  • Tensor: 指示当前是否正在使用张量核心。
    • Memory Usage: 已使用的GPU内存/总可用内存的百分比
    • Memory Clock: 决定数据在GPU核心和显存之间传输的速度。
    • Temperature: GPU温度。
    • Power: GPU功耗。