Overview - NPU Platform

Overview

Bảng điều khiển NPU là trang chính dành cho các quản trị viên hệ thống để giám sát và quản lý tài nguyên Đơn vị Xử lý Neural (NPU) trong hạ tầng tính toán. Nó cung cấp các hình ảnh trực quan theo thời gian thực về phân bổ NPU, mức sử dụng và tiêu thụ theo dự án bằng cách sử dụng thẻ, biểu đồ và bảng. Bảng điều khiển bổ sung cho Bảng điều khiển GPU, cung cấp giám sát tài nguyên thống nhất trên cả hai bộ tăng tốc tính toán.

Truy cập Bảng điều khiển NPU

Các bước nhanh để mở Bảng điều khiển NPU:

• Nhấp vào GPU trên thanh công cụ.
• Trên tab Overview, , nhấp vào Platform ở góc trên bên phải.
• Sau đó nhấp vào NPU.

1. Total NPUs Card

• Purpose: Hiển thị tổng số tài nguyên NPU đã đăng ký trong hệ thống và trạng thái hoạt động của chúng.
• Displayed information:
  • Tổng NPUs: Tổng số bộ tăng tốc NPU trên tất cả các cụm.
  • Số lượng NPU theo trạng thái: Phân tích trạng thái hoạt động Sẵn sàng, Thất bại.
• Action: Nhấp vào nhãn Total NPU sẽ dẫn đến trang GPU Pools Management để xem chi tiết về tài nguyên và quản lý pool.
• Status Definitions:
  • Ready: NPU đang hoạt động và sẵn sàng cho việc phân bổ nhiệm vụ.
  • Failed: NPU đã phát hiện lỗi và cần được điều tra.

2. Sử dụng Thẻ

• Purpose: Hiển thị mức sử dụng NPU theo thời gian thực (%) trên toàn bộ hạ tầng, phân đoạn theo trạng thái phân bổ.
• Displayed information:
  • Mức sử dụng: Tỷ lệ phần trăm tổng công suất NPU hiện đang được sử dụng. Mức sử dụng = (Đang sử dụng / Tổng NPUs) × 100%.
  • Sẵn có: Số lượng NPUs sẵn sàng cho việc phân bổ công việc mới.
  • Đang sử dụng: Số lượng NPUs hiện đang thực hiện công việc.
• Action: Nhấp vào nhãn Utilization để điều hướng đến trang GPU Capacity Management để phân tích sâu hơn về xu hướng sử dụng và dự đoán.

Note: Mô hình khối lượng công việc NPU thường khác với GPU do sự phân chia giữa suy diễn và đào tạo mô hình. Theo dõi riêng biệt để lập kế hoạch năng lực chính xác.

3. Biểu đồ Phân tích Sử dụng

3.1 Biểu đồ Sử dụng Cụm

• Purpose: Hình dung phân bổ và sử dụng tài nguyên NPU trên các cụm bằng cách sử dụng biểu đồ donut, cung cấp cái nhìn ngay lập tức về phân phối tài nguyên ở cấp cụm.
• Display information:
  • Total: Tổng số NPU cho cụm đã chọn.
  • Used: NPUs đang thực hiện công việc.
  • Allocated: NPUs được phân bổ cho các nhóm nhưng chưa được sử dụng.
  • Available: NPUs chưa được phân bổ và có sẵn cho việc tạo nhóm mới.
• Cluster Filter: Trình chọn thả xuống để xem thống kê cho một cụm cụ thể.
• Use cases:
  • So sánh phân bổ và sử dụng giữa các cụm khác nhau.
  • Xác định các cụm có tính khả dụng cao để chỉ đạo công việc mới.
  • Phát hiện các cụm có sự mất cân bằng phân bổ (phân bổ cao, sử dụng thấp).
  • Hỗ trợ lập kế hoạch năng lực và quyết định phân phối công việc.
• Interpretation logic:
  • Used: NPUs đang xử lý công việc (từ các chỉ số thời gian chạy).
  • Allocated: Được phân bổ cho các nhóm nhưng không hoạt động (sự khác biệt giữa phân bổ nhóm và sử dụng tích cực).
  • Available: Chưa được phân bổ (tổng - đã phân bổ - đã sử dụng).
  • Kích thước lát biểu đồ phản ánh số lượng tài nguyên thực tế, không phải phần trăm.

NPU-specific considerations: Khác với GPU, NPUs thường chạy các khối lượng công việc suy diễn với kích thước lô biến đổi. Theo dõi tỷ lệ Đã sử dụng/Đã phân bổ để xác định các nhóm sử dụng không hiệu quả hoặc cơ hội hợp nhất công việc.

• Actions: Khi bạn di chuột qua một đoạn màu trong biểu đồ donut, tooltip sẽ hiển thị thông tin như dưới đây:
  • Segment Name (ví dụ: "Đã sử dụng", "Đã phân bổ", "Có sẵn")
  • Count của NPUs trong trạng thái đó - và percentage
  • Hardware Spec (ví dụ: "RBLN-CA25")
  • Total number of NPUs trong trạng thái đó và percentage của tổng dung lượng cụm

thông tin

Bạn cũng có thể nhấp vào khu vực biểu đồ để chuyển đổi giữa chế độ xem biểu đồ donut nhiều vòng và biểu đồ donut đơn giản.

3.2 Usage by Project Chart

• Purpose: Hình dung việc tiêu thụ NPU qua các dự án, cho thấy đội nào tiêu thụ nhiều tài nguyên nhất.
• Display information:
  • 5 dự án hàng đầu được hiển thị với số lượng NPU riêng lẻ đang sử dụng.
  • Các dự án còn lại được nhóm lại dưới danh mục Other.
  • Tổng: Số lượng NPU tổng hợp qua tất cả các dự án.
• Use cases:
  • Giám sát các dự án nào chiếm ưu thế trong việc tiêu thụ tài nguyên.
  • Xác định sự tập trung tài nguyên và các yếu tố có thể gây chi phí.
  • Theo dõi xu hướng nhu cầu cụ thể của dự án theo thời gian.
  • Hỗ trợ phân tích chi phí và thanh toán.
• Interpretation logic: Kích thước lát cắt tỷ lệ với số lượng NPU đang sử dụng theo dự án.

Danh mục Other không thể mở rộng trong biểu đồ. Sử dụng trang NPU Pools hoặc bảng Pending Requests để xem chi tiết phân tích theo dự án.

• Actions:
  • Nhấp vào mỗi hàng dự án để ẩn/hiện nó khỏi biểu đồ donut.
  • Di chuột qua mỗi đoạn màu để xem tên dự án và số lượng NPUs đang sử dụng.

3.3 Usage by Biểu đồ loại NPU

• Purpose: Minh họa việc sử dụng tài nguyên theo thông số phần cứng NPU (mô hình, thế hệ, v.v.), cho phép theo dõi mức tiêu thụ ở cấp độ phần cứng.
• Display information:
  • 5 loại NPU hàng đầu được hiển thị riêng lẻ với số lượng sử dụng đang hoạt động.
  • Các loại còn lại được nhóm lại dưới Other.
  • Tổng: Số lượng NPU tổng hợp trên tất cả các loại.
• Use cases:
  • Xác định các mô hình NPU nào được sử dụng nhiều nhất.
  • Phát hiện các nút thắt hoặc bão hòa cụ thể của phần cứng.
  • Phân tích xu hướng để thông báo cho các quyết định mua sắm và nâng cấp.
  • Hỗ trợ tối ưu hóa hiệu suất bằng cách khớp khối lượng công việc với phần cứng.
• Interpretation logic: Kích thước lát cắt tỷ lệ thuận với số lượng NPU đang hoạt động theo loại phần cứng.
• Actions: Di chuột qua từng đoạn màu để xem một tooltip hiển thị tên loại và tổng số NPU đang hoạt động của loại đó.

4. Bảng 5 Hồ bơi NPU hàng đầu

• Purpose: Cung cấp cái nhìn tổng quan theo thời gian thực về các hồ bơi tài nguyên NPU chính, làm nổi bật trạng thái phân bổ, mức sử dụng và các dự án được phân công để hỗ trợ quản lý tài nguyên hiệu quả.
• Display information:
  • Pool Name: Định danh duy nhất cho hồ bơi NPU, liên kết có thể nhấp đến trang chi tiết của hồ bơi.
  • Project: Tên dự án được phân công; hiển thị Unassigned nếu không có dự án nào được phân công.
  • Type: Thông số và số lượng phần cứng NPU (ví dụ: "RBLN-CA25 ×32", "RBLN-CA50 ×16")
  • Usage: Hiển thị dung lượng Đã sử dụng/Tổng (ví dụ: "0/32", "16/32"), được hình dung bằng một thanh tiến độ.
  • Status: Trạng thái hoạt động và phân công.
    • Assigned (vàng) — hồ bơi thuộc sở hữu của một dự án.
    • Unassigned (xanh) — không có chủ sở hữu dự án, miễn phí để phân bổ.
• Supporting Behaviors:
  • Sorting: Nhấp vào tiêu đề cột để sắp xếp theo Tên Hồ bơi hoặc tỷ lệ Sử dụng.
  • View All: Truy cập vào giao diện quản lý và kiểm kê hồ bơi NPU.
  • Progress Bar Colors:
• Xanh: Sử dụng thấp (<33% công suất được sử dụng).
• Vàng: Sử dụng trung bình (33–66% công suất được sử dụng).
• Đỏ: Sử dụng cao (>66% công suất được sử dụng).
• Use cases:
  • Nhanh chóng xem xét trạng thái hoạt động và mức sử dụng của các nhóm chính.
  • Xác định các nhóm chưa được phân bổ có sẵn cho việc phân bổ dự án mới.
  • Phát hiện các nhóm sử dụng quá mức có thể được hưởng lợi từ việc cân bằng lại khối lượng công việc.
  • Giám sát sức khỏe của nhóm và lên kế hoạch cho các khoảng thời gian bảo trì nếu cần.