Tổng Quan
Màn hình Tổng Quan GPU cho phép các nhà điều hành theo dõi sức khỏe GPU trên toàn hệ thống, xác định các GPU gặp sự cố, theo dõi các cảnh báo đang hoạt động và nhanh chóng điều hướng đến các màn hình điều tra chi tiết. Tất cả dữ liệu hiển thị được giới hạn theo các bộ lọc Cluster, Node và Project đã chọn.
Phần Đầu
| Mục | Mô tả |
|---|---|
| Infra | Tab giám sát hạ tầng cho sức khỏe GPU và theo dõi sự cố. |
| Nền tảng | Tab giám sát GPU dựa trên nền tảng. |
| Cluster | Bộ lọc Cluster. |
| Node | Bộ lọc Node. |
| Project | Bộ lọc Project. |
Cách Sử Dụng
- Điều hướng đến menu Tổng Quan GPU.
- Chọn tab Infra.
- Chọn một Cluster, Node hoặc Project để thu hẹp phạm vi giám sát nếu cần.
- Hệ thống tự động cập nhật tất cả dữ liệu hiển thị dựa trên các bộ lọc đã chọn.
Thẻ Chỉ Số
Các thẻ chỉ số cung cấp một tóm tắt nhanh về sức khỏe và trạng thái GPU trong phạm vi đã chọn.
- Thẻ hiện tại được chọn sẽ được làm nổi bật để chỉ ra rằng bộ lọc của nó đang hoạt động.
- Thẻ Serving chỉ mang tính thông tin và không hoạt động như một bộ lọc dữ liệu.
| Thẻ | Mô tả |
|---|---|
| Tổng GPU | Tổng số GPU đầy đủ. |
| GPU Có Vấn Đề | Tổng số GPU hiện đang gặp sự cố. |
| Phần Mềm | Số lượng GPU có vấn đề liên quan đến phần mềm. |
| Phần Cứng | Số lượng GPU có vấn đề liên quan đến phần cứng. |
| Serving | Số lượng khối lượng công việc hiện đang bị ảnh hưởng bởi các cảnh báo SLO. |
| Chức Năng | Hành Động Người Dùng | Kết Quả Mong Đợi |
|---|---|---|
| Xem Tất Cả GPU | Nhấp vào thẻ Tổng GPU. | Hệ thống hiển thị tất cả GPU trong phạm vi hiện tại và loại bỏ bất kỳ bộ lọc dựa trên trạng thái nào đang hoạt động. |
| Xem GPU Vấn Đề | Nhấp vào thẻ GPU Vấn Đề. | Hệ thống chỉ hiển thị các GPU hiện đang được xác định là GPU Vấn Đề. Chế độ Xem Trung Tâm Dữ Liệu và Danh Sách GPU được lọc tương ứng. |
| Xem Vấn Đề Phần Mềm | Nhấp vào thẻ Phần Mềm. | Hệ thống chỉ hiển thị các GPU có cảnh báo được phân loại là vấn đề liên quan đến phần mềm. Chế độ Xem Trung Tâm Dữ Liệu và Danh Sách GPU được lọc tương ứng. |
| Xem Vấn Đề Phần Cứng | Nhấp vào thẻ Phần Cứng. | Hệ thống chỉ hiển thị các GPU có cảnh báo được phân loại là vấn đề liên quan đến phần cứng. Chế độ Xem Trung Tâm Dữ Liệu và Danh Sách GPU được lọc tương ứng. |
Chế Độ Xem Trung Tâm Dữ Liệu
Data Center View cung cấp một đại diện hình ảnh của bố trí GPU vật lý trong trung tâm dữ liệu, giúp các nhà điều hành nhanh chóng xác định các giá đỡ hoặc GPU bị ảnh hưởng.
- Thông tin GPU được làm mới tự động mỗi 3 giây.
- Di chuột qua một GPU để nhanh chóng xem các chỉ số telemetry hiện tại:
- Trạng thái GPU
- Hoạt động SM
- Nhiệt độ
- Tiêu thụ điện
- Sử dụng VRAM
- Thông tin Khối lượng Công việc (nếu có)
Chuyển Chế Độ Xem
Chế Độ Xem Trung Tâm Dữ Liệu hỗ trợ hai chế độ hiển thị: Sàn và Giá:
- Chế Độ Xem Sàn được sử dụng cho cái nhìn tổng thể về cơ sở hạ tầng.
- Chế Độ Xem Giá được sử dụng cho việc điều tra chi tiết ở cấp độ GPU.
- Việc chuyển đổi giữa chế độ Xem Sàn và Giá không ảnh hưởng đến các bộ lọc hiện tại hoặc dữ liệu được hiển thị.
Quan sát màu sắc của GPU trong Chế Độ Xem Trung Tâm Dữ Liệu, sau đó so sánh với Bảng Màu ở dưới cùng của màn hình để nhanh chóng xác định loại vấn đề ảnh hưởng đến GPU.
| Xem | Mục Đích | Mô Tả |
|---|---|---|
| Tầng | Hiển thị danh sách các giá đỡ trong phạm vi đã chọn. | • Chế độ xem Tầng là chế độ hiển thị mặc định. • Nhấp vào Tầng để hiển thị tất cả các giá đỡ trong phạm vi đã chọn. • Mỗi giá đỡ hiển thị tên giá đỡ, tổng số GPU và trạng thái GPU thông qua các khối GPU được mã màu. • Di chuột qua một khối GPU để xem thông tin liên quan đến GPU hoặc chi tiết cảnh báo (nếu có). • Nhấp vào một khối GPU để hiển thị thông tin GPU và các hành động có sẵn, sau đó chọn Chi tiết Chỉ số, Kho, hoặc Chi tiết Tải công việc (nếu có) để điều hướng đến màn hình tương ứng. • Sử dụng Chế độ xem Tầng để nhanh chóng xác định các giá đỡ hoặc GPU bất thường trước khi thực hiện điều tra chi tiết. |
| Giá đỡ | Hiển thị bố cục chi tiết của các GPU bên trong một giá đỡ cụ thể. | • Chế độ xem Giá đỡ được thiết kế cho việc điều tra GPU sâu hơn. • Nhấp vào Giá đỡ để chuyển từ Chế độ xem Tầng sang Chế độ xem Giá đỡ. • Tiêu đề Trung tâm Dữ liệu được thay thế bằng tên giá đỡ đã chọn (ví dụ, gpu-04 - R0), cùng với tổng số GPU trong giá đỡ. • Mỗi GPU được hiển thị dưới dạng một Khối GPU được đánh số (#0, #1, #2, ...) đại diện cho vị trí vật lý của nó trong giá đỡ. • Trạng thái GPU được chỉ định bằng màu theo Huyền thoại Màu sắc. • Di chuột qua một Khối GPU để xem thông tin liên quan đến GPU hoặc chi tiết cảnh báo (nếu có). • Nhấp vào một Khối GPU để xem thông tin GPU và các hành động có sẵn, sau đó chọn Chi tiết Chỉ số, Kho, hoặc Chi tiết Tải công việc (nếu có) để điều hướng đến màn hình tương ứng. • Sử dụng các nút điều hướng Trước và Sau để di chuyển giữa các giá đỡ mà không cần quay lại Chế độ xem Tầng. |
Ghi chú
- Các màu sắc đại diện cho trạng thái GPU trên toàn bộ màn hình.
| Màu sắc | Ý nghĩa |
|---|---|
| Xanh dương | Bình thường |
| Cam | Vấn đề phần mềm |
| Đỏ | Vấn đề phần cứng |
| Xanh dương đậm | Vấn đề phục vụ |
Cảnh báo quan trọng
- Cảnh báo quan trọng hiển thị tất cả các cảnh báo đang mở hiện tại.
| Mục | Mô tả |
|---|---|
| Thông điệp cảnh báo | Thông điệp cảnh báo và tóm tắt vấn đề |
| Trách nhiệm | Phân loại quyền sở hữu vấn đề (Phần mềm hoặc Phần Cứng) |
| Chi tiết cảnh báo | Liên kết đến trang chi tiết cảnh báo |
- Dữ liệu cảnh báo được làm mới tự động mỗi 10 giây.
Xem Chi Tiết Cảnh Báo
- Tìm cảnh báo mà bạn muốn điều tra.
- Nhấp vào nút + ở bên phải của cảnh báo.
- Hệ thống sẽ chuyển đến màn hình Chi Tiết Cảnh Báo.
Mở Cấu Hình Quy Tắc Cảnh Báo
- Nhấp vào liên kết Cài Đặt Cảnh Báo ở trên danh sách cảnh báo.
→ Hệ thống sẽ chuyển đến màn hình Cấu Hình Quy Tắc Cảnh Báo.
Ghi Chú
- Các cảnh báo được hiển thị theo thứ tự giảm dần dựa trên bản cập nhật gần đây nhất.
- Nếu không có cảnh báo nào đang mở, hệ thống sẽ hiển thị "Không có Cảnh Báo Quan Trọng".
Danh Sách GPU
Phần này hiển thị tất cả các GPU trong phạm vi hiện tại, cùng với trạng thái hoạt động và bất kỳ bất thường nào được phát hiện.
| Cột | Mô tả |
|---|---|
| GPU | Tên hoặc chỉ số GPU |
| Cụm | Cụm lưu trữ GPU |
| Dự án | Dự án hiện đang sử dụng GPU |
| Trạng thái | Trạng thái hiện tại của GPU |
| SM | Sử dụng GPU (%) |
| Nhiệt độ | Nhiệt độ GPU |
| Công suất | Mức tiêu thụ điện năng hiện tại |
| VRAM | Mức sử dụng VRAM hiện tại |
| Tải | Tải được gán cho GPU |
| Triệu chứng | Lý do tại sao GPU được đánh dấu là bất thường |
Xem Thông Tin GPU
- Cuộn đến phần Danh Sách GPU.
- Xem thông tin cho từng GPU.
- Kiểm tra cột Trạng thái để xác định xem GPU là MIỄN PHÍ, NHÀM CHÁN, hay ở trạng thái khác.
- Kiểm tra Nhiệt độ, Công suất và VRAM để đánh giá điều kiện hoạt động của GPU.
- Kiểm tra Tải để xác định tải nào đang sử dụng GPU hiện tại.
- Kiểm tra Triệu chứng để xác định nguyên nhân của bất kỳ hành vi bất thường nào.
Các Triệu Chứng Thông Thường
| Triệu Chứng | Ý Nghĩa |
|---|---|
| Đã phát hiện lỗi GPU XID | Đã phát hiện lỗi GPU XID. |
| Bộ nhớ GPU gần OOM | Việc sử dụng bộ nhớ GPU đang tiến gần đến ngưỡng hết bộ nhớ. |
| Đã phát hiện giảm xung nhịp GPU | Tần số xung nhịp GPU đã bị giảm do điều kiện hệ thống. |