跳到主要内容

Overview - NPU Platform

Overview​

NPU仪表板是系统管理员监控和管理计算基础设施中神经处理单元（NPU）资源的主页。它提供NPU分配、利用率和项目特定消耗的实时可视化，使用卡片、图表和表格。该仪表板补充了GPU仪表板，提供跨计算加速器的统一资源监控。

访问NPU仪表板​

打开NPU仪表板的快速步骤：

  • 点击顶部栏上的GPU。
  • 在Overview, 选项卡上，点击右上角的Platform。
  • 然后点击NPU.

1. Total NPUs Card​

  • Purpose: 显示系统中注册的NPU资源的总数及其操作状态。
  • Displayed information:
    • 总NPUs：所有集群中NPU加速器的总数。
    • 按状态划分的NPU计数：操作状态的细分，包括准备就绪、失败。
  • Action: 点击Total NPU标签将导航到GPU Pools Management页面，以获取详细的资源清单和池管理。
  • Status Definitions:
    • Ready: NPU处于操作状态并可用于任务分配。
    • Failed: NPU检测到故障，需要调查。

2. 卡片利用率​

  • Purpose: 显示基础设施中NPU的实时利用率（%），按分配状态进行细分。
  • Displayed information:
    • 利用率：当前正在使用的总NPU容量的百分比。利用率 = (正在使用的 / 总NPUs) × 100%。
    • 可用：准备好进行新工作负载分配的NPU数量。
    • 正在使用：当前执行工作负载的NPU数量。
  • Action: 点击 Utilization 标签可导航到 GPU Capacity Management 页面，以便对使用趋势和预测进行更深入的分析。

Note: NPU 工作负载模式通常与 GPU 不同，因为推理与训练模型的划分。请单独监控以确保准确的容量规划。

3. 使用分析图表​

3.1 集群使用图表​

  • Purpose: 使用甜甜圈图可视化 NPU 资源在集群中的分配和利用情况，提供对集群级资源分布的即时洞察。
  • Display information:
    • Total: 选定集群的 NPU 总数。
    • Used: 正在积极执行工作负载的 NPU。
    • Allocated: 分配给池但尚未使用的 NPU。
    • Available: 未分配且可用于新池创建的 NPU。
  • Cluster Filter: 下拉选择器以查看特定集群的统计信息。
  • Use cases:
    • 比较不同集群之间的分配与利用情况。
    • 确定高可用性的集群以引导新工作负载。
    • 发现分配不平衡的集群（高分配，低利用）。
    • 支持容量规划和工作负载分配决策。
  • Interpretation logic:
    • Used: 正在处理工作负载的 NPU（来自运行时指标）。
    • Allocated: 分配给池但处于空闲状态（池分配与实际使用之间的差异）。
    • Available: 尚未分配（总数 - 已分配 - 已使用）。
    • 图表切片大小反映实际资源计数，而不是百分比。

NPU-specific considerations: 与 GPU 不同，NPU 通常运行具有可变批量大小的推理工作负载。监控已使用/已分配比率，以识别未充分利用的池或工作负载整合的机会。

  • Actions: 当您将鼠标悬停在甜甜圈图表中的彩色部分时，工具提示将显示以下信息：
    • Segment Name （例如，“已使用”，“已分配”，“可用”）
    • Count 处于该状态的NPU数量 - 以及 percentage
    • Hardware Spec （例如，“RBLN-CA25”）
    • Total number of NPUs 处于该状态的NPU数量和 percentage 的总集群容量
信息

您还可以单击图表区域在多环甜甜圈图表和简单甜甜圈图表查看模式之间切换。

3.2 Usage by Project Chart​

  • Purpose: 可视化各项目的NPU消耗，显示哪些团队消耗了最多的资源。
  • Display information:
    • 显示前5个项目及其各自的活跃NPU数量。
    • 其余项目归类于 Other 类别。
    • 总计：所有项目的NPU总数。
  • Use cases:
    • 监控哪些项目主导资源消耗。
    • 识别资源集中和潜在成本驱动因素。
    • 跟踪项目特定的需求趋势。
    • 支持费用分摊和账单分析。
  • Interpretation logic: 切片大小与每个项目使用的NPU数量成比例。

Other 类别在图表中无法展开。请使用 NPU Pools 页面或 Pending Requests 表格查看每个项目的详细分解。

  • Actions:
    • 单击每个项目行以在甜甜圈图表中隐藏/显示它。
    • 将鼠标悬停在每个彩色部分上以查看项目名称和活跃使用的NPU数量。

3.3 Usage by NPU类型图表​

  • Purpose: 通过NPU硬件规格（型号、代数等）来说明资源利用率，从而实现硬件级的消费跟踪。
  • Display information:
    • 前5种NPU类型单独显示，带有活跃使用计数。
    • 其余类型归类于 Other。
    • 总计：所有类型的NPU总数。
  • Use cases:
    • 确定哪些NPU型号被最频繁使用。
    • 检测硬件特定的瓶颈或饱和情况。
    • 分析趋势以指导采购和升级决策。
    • 通过工作负载与硬件匹配来支持性能优化。
  • Interpretation logic: 切片大小与每种硬件类型的活跃NPU数量成比例。
  • Actions: 将鼠标悬停在每个彩色部分上以查看工具提示，显示类型名称和该类型活跃NPU的总数。

4. 前5个NPU池表​

  • Purpose: 提供主要NPU资源池的实时概述，突出分配状态、利用率和项目分配，以支持有效的资源管理。
  • Display information:
    • Pool Name: NPU池的唯一标识符，可点击链接到池的详细页面。
    • Project: 分配的项目名称；如果没有分配项目，则显示 Unassigned。
    • Type: NPU硬件规格和数量（例如，“RBLN-CA25 ×32”，“RBLN-CA50 ×16”）
    • Usage: 显示已用/总容量（例如，“0/32”，“16/32”），以进度条可视化。
    • Status: 操作和分配状态。
      • Assigned （黄色）— 池由一个项目拥有。
      • Unassigned （绿色）— 没有项目所有者，免费分配。
  • Supporting Behaviors:
    • Sorting: 点击列标题按池名称或使用百分比排序。
    • View All: 访问NPU池库存和管理界面。
    • Progress Bar Colors:
  • 绿色：低使用率（<33% 容量利用）。
  • 黄色：中等使用率（33–66% 容量利用）。
  • 红色：高使用率（>66% 容量利用）。
  • Use cases：
    • 快速审查关键池的操作状态和利用率。
    • 确定可用于新项目分配的未分配池。
    • 发现可能受益于工作负载重新平衡的过度利用池。
    • 监控池的健康状况，并在需要时计划维护窗口。