Chuyển tới nội dung chính

GPU Monitoring (Project Level)

Màn hình Giám sát GPU cho phép người dùng theo dõi trạng thái và mức sử dụng của các GPU Pool được gán cho các dự án.

Phần A: Phân phối Hồ sơ

Phần B: Thẻ GPU Pool

Phân phối Hồ sơ​

  • Mục đích: Hiển thị tổng số hồ sơ trên tất cả các GPU pool được gán cho dự án đó, được phân loại theo loại hồ sơ và trạng thái.
  • Màu sắc chỉ ra trạng thái của hồ sơ.

Thẻ GPU Pool​

Mỗi thẻ tương ứng với một GPU Pool và hiển thị thông tin sau:

  • Tiêu đề: Tên GPU Pool
  • Trạng thái sử dụng:
    • Tổng: Tổng số GPU được phân bổ cho pool
    • Đang sử dụng: Số lượng GPU đang được sử dụng
  • Mức sử dụng: Tỷ lệ phần trăm GPU đang được sử dụng
  • Phân bổ: Số lượng tài nguyên được phân bổ, hiển thị theo định dạng ‘Số lượng hồ sơ đang sử dụng/Tổng số hồ sơ trong pool’.
    • Thanh tiến độ: Màu xanh chỉ ra hồ sơ đang sử dụng; màu xám chỉ ra hồ sơ có sẵn.
  • Thẻ: Thông số kỹ thuật hồ sơ GPU được gán cho pool.
  • Ngày tạo: Hiển thị ngày tạo pool theo định dạng YYYY-MM-DD.

Khi người dùng nhấp vào một thẻ GPU Pool, hệ thống sẽ chuyển đến màn hình thông tin chi tiết của GPU Pool tương ứng. Màn hình này bao gồm hai tab chính (Tab Phân bổ và Tab Giám sát) để hiểu cả cấu hình và trạng thái sử dụng thực tế của pool.

Tab Phân bổ: Tổng quan Cấu hình Tài nguyên​

Tab Phân bổ cho thấy cách mà GPU Pool được cấu hình về mặt vật lý. Nó hình dung các GPU nào, với hồ sơ nào, được phân bổ cho Pool này, trên các nút nào, và trong các cụm nào.

Trạng thái Chung:

  • Đang sử dụng: Số lượng hồ sơ được phân bổ cho khối lượng công việc.
  • Sẵn sàng: Số lượng hồ sơ chưa được phân bổ cho khối lượng công việc.

Node-Profile (Phân phối Tài nguyên)​

  • Mục đích: Hiển thị số lượng GPU đã được phân bổ và chưa được phân bổ cho mỗi thông số hồ sơ.
  • Trạng thái:
    • Đang sử dụng (xanh): Các hồ sơ hiện đang được sử dụng
    • Có sẵn (xám): Các hồ sơ có sẵn

Node-GPU (Phân phối GPU Vật lý)​

  • Mục đích: Cung cấp hiển thị chi tiết về vị trí GPU trên mỗi nút.
  • Trạng thái:
    • Đang sử dụng (Pool) (xanh): Các hồ sơ hiện đang được sử dụng trong pool này.
    • Đang sử dụng (Ngoài) (xanh): Các hồ sơ hiện đang được sử dụng trong pool khác.
    • Nhàn rỗi (trắng): Các hồ sơ có sẵn

Tab Giám sát: Sử dụng Thực tế​

  • Mục đích: Hiển thị các Pod đang thực sự sử dụng GPU trong pool này. Đây là tab quan trọng nhất trong quản lý GPU Pool, vì nó cho phép theo dõi việc sử dụng tài nguyên ở cấp độ Pod.
  • Thông tin hiển thị:
    • Pod: Tên Pod
    • Profile: Hồ sơ GPU được sử dụng bởi Pod.
    • GPU: UUID của GPU được sử dụng bởi pod
      • Fire icon: Chỉ ra xem việc Throttle Nhiệt phần cứng có được bật hay không.
      • Lightning icon: Chỉ ra xem Giới hạn Công suất GPU (giới hạn tiêu thụ điện) có được bật hay không.
      • Thermometer icon: Chỉ ra trạng thái của Giới hạn Nhiệt phần mềm.
    • Status: Trạng thái của hồ sơ
    • SM Activity: Tỷ lệ phần trăm của các đơn vị tính toán thực tế (SMs) bên trong GPU đang hoạt động.
    • SM Occupy: Tỷ lệ của các warps đang hoạt động trên một SM so với số warps tối đa được hỗ trợ, cho thấy mức độ hiệu quả mà các kernel CUDA sử dụng tài nguyên GPU.
    • SM Clock: Tốc độ hiện tại của các SM so với tốc độ tối đa của chúng.
  • Tensor: Chỉ ra xem Tensor Cores có đang được sử dụng hay không.
    • Memory Usage: Tỷ lệ phần trăm bộ nhớ GPU đã sử dụng/tổng bộ nhớ khả dụng
    • Memory Clock: Xác định tốc độ truyền dữ liệu giữa lõi GPU và VRAM.
    • Temperature: Nhiệt độ GPU.
    • Power: Mức tiêu thụ điện năng của GPU.