Quản lý GPU được thiết kế để theo dõi và quản lý tất cả tài nguyên GPU trong các cụm Kubernetes theo thời gian thực. Nó không chỉ hiển thị trạng thái hiện tại, mà còn hỗ trợ quản lý tích hợp nhiều cụm, cung cấp thông tin tùy chỉnh cho từng vai trò người dùng, và bao gồm các công cụ phân tích để theo dõi và đánh giá xu hướng sử dụng GPU theo thời gian.
Chức Năng Chính
-
Cluster-level GPU Monitoring
- Xem tài nguyên GPU trên nhiều cụm chỉ trong một cái nhìn
- So sánh mức sử dụng GPU theo cụm chỉ trong một cái nhìn
- Ngay lập tức xác định các cụm có tài nguyên không đủ và tài nguyên miễn phí
-
Multi-Instance GPU (MIG) support
- Chia một GPU đơn thành nhiều phiên bản để sử dụng linh hoạt
- Thu thập các chỉ số độc lập cho mỗi phiên bản MIG
- Giám sát sự cạnh tranh tài nguyên giữa các phiên bản trong các GPU vật lý
-
Real-time metrics visualization
- Cập nhật trạng thái GPU mỗi 15 giây
- Phân biệt trạng thái bằng mã màu (Bình thường/Cảnh báo/Critical)
- Phân tích xu hướng bằng biểu đồ theo chuỗi thời gian
-
Role-based view
- Quản trị viên hệ thống: Tình trạng tổng thể của hạ tầng
- Quản lý dự án: Tình trạng sử dụng GPU pool của nhóm
- Các nhà phát triển: Các chỉ số chi tiết cho khối lượng công việc của họ
Các Chỉ Số Chính
Mức Sử Dụng GPU
Mức sử dụng GPU là một trong những chỉ số được theo dõi thường xuyên nhất, nhưng cũng là một trong những chỉ số dễ bị hiểu sai nhất. Chỉ số này cho biết tỷ lệ phần trăm thời gian mà các lõi tính toán của GPU đang hoạt động thực hiện các phép tính. Ví dụ, nếu mức sử dụng GPU là 80%, điều đó có nghĩa là GPU đã thực hiện các phép tính trong 80% thời gian đo và không hoạt động trong 20% thời gian còn lại.
-
Normal range:
- GPU đã phân bổ: Trên 50% (lý tưởng là 75–85%)
- GPU chưa phân bổ: Dưới 5% (lý tưởng là 0%)
- Problem diagnosis:
- Sử dụng thấp (20% hoặc ít hơn): Có thể là nút thắt trong việc tải dữ liệu, kích thước lô nhỏ, hoặc nút thắt CPU
- Hoạt động bất thường (GPU chưa phân bổ > 20%): Có thể là các quy trình chưa hoàn thành hoặc vấn đề bảo mật
Sử Dụng Bộ Nhớ
Sử dụng bộ nhớ cho biết tỷ lệ thời gian mà bộ nhớ GPU đang thực hiện các thao tác đọc và ghi. Đây là một khái niệm khác với việc sử dụng bộ nhớ. Việc sử dụng bộ nhớ cho thấy bao nhiêu bộ nhớ đã được phân bổ, trong khi sử dụng bộ nhớ phản ánh mức độ tích cực mà bộ nhớ đó đang được sử dụng.
| Sử dụng GPU | Sử dụng bộ nhớ | Diễn giải |
|---|---|---|
| Cao | Thấp | Bình thường (tính toán cường độ cao) |
| Thấp | Cao | Nút thắt băng thông bộ nhớ |
| Thấp | Thấp | Nút thắt tải dữ liệu/CPU |
- Trên 95%: Nguy cơ hết bộ nhớ
- Tăng liên tục: Có thể rò rỉ bộ nhớ
Nhiệt Độ
Nhiệt độ là chỉ số trực tiếp nhất về sức khỏe của GPU. GPU tiêu thụ năng lượng đáng kể để đạt hiệu suất cao, tạo ra nhiệt lượng lớn như một kết quả. Nếu nhiệt lượng này không được kiểm soát đúng cách, nó không chỉ có thể gây suy giảm hiệu suất mà còn làm hỏng phần cứng. Dải nhiệt độ hoạt động bình thường cho hầu hết các GPU trong trung tâm dữ liệu là từ 50°C đến 80°C.
Temperature standards:| Temperature | Status | Recommended action |
|---|---|---|
| < 70°C | Bình thường | - |
| 70–80°C | Tốt | - |
| 80–85°C | Cảnh báo | Kiểm tra làm mát |
| 85–90°C | Cảnh báo | Bắt đầu giảm tốc độ SW |
| ≥ 90°C | Nguy cấp | Giảm tốc độ HW, hành động ngay lập tức cần thiết |
- Hỏng quạt làm mát hoặc tích tụ bụi
- Nhiệt độ môi trường phòng máy chủ tăng
- Can thiệp nhiệt giữa các GPU trong các nút (tải nặng đồng thời)
Sử Dụng Năng Lượng
Mức tiêu thụ điện cho thấy lượng điện (tính bằng Watts) mà GPU đang sử dụng. Mỗi mẫu GPU có một giới hạn công suất định mức; ví dụ, giới hạn công suất mặc định cho NVIDIA A100 là 400W, và giới hạn này có thể được điều chỉnh bởi các quản trị viên thông qua phần mềm.
-
Purposes of power monitoring:
- Phát hiện giới hạn hiệu suất: Nếu mức sử dụng điện vượt quá 95% so với Giới hạn Công suất, GPU có thể bị giới hạn công suất.
- Kiểm soát chi phí: Xác định GPU không hiệu quả với mức tiêu thụ điện cao.
- Phát hiện vấn đề phần cứng: Phát hiện các mẫu sử dụng điện bất thường.
-
Analysis points:
- Sử dụng GPU thấp + tiêu thụ điện cao = Không hiệu quả (chi phí chuyển giao bộ nhớ)
- Sử dụng GPU cao + tiêu thụ điện cao = Bình thường (GPU đang hoạt động với công suất tối đa)
Throttle Đồng Hồ
GPU hoạt động dựa trên tốc độ đồng hồ của nó, tương tự như CPU. Tốc độ đồng hồ càng cao, nó có thể thực hiện nhiều phép toán hơn mỗi giây. Tuy nhiên, GPU không phải lúc nào cũng chạy ở tốc độ đồng hồ tối đa của nó. Để quản lý mức tiêu thụ điện và nhiệt độ, GPU điều chỉnh động tốc độ đồng hồ của nó—quá trình này được gọi là throttle đồng hồ.
Throttle đồng hồ có thể xảy ra vì nhiều lý do khác nhau, mỗi lý do có một ý nghĩa khác nhau. Điều quan trọng là hiểu các lý do cho throttle đồng hồ như được ghi lại bởi hệ thống.
| Throttle Type | Meaning | Severity | Recommended Action |
|---|---|---|---|
| GPU Nhàn Rỗi | Trạng thái nhàn rỗi | Bình thường | Không có |
| Giới Hạn Công Suất SW | Giới hạn công suất do quản trị viên đặt | Bình thường | Giới hạn Dự kiến |
| Nhiệt Độ SW | Nhiệt độ > 85°C | Cảnh báo | Xem xét cải thiện làm mát |
| Nhiệt Độ HW | Nhiệt độ > 90°C | Quan trọng | Kiểm tra làm mát ngay lập tức |
| Phanh Công Suất HW | Quá tải công suất tức thời | Cảnh báo | Kiểm tra nguồn điện |
| Việc theo dõi tần suất các sự kiện bị giới hạn là rất quan trọng. Việc bị giới hạn thỉnh thoảng là điều bình thường, nhưng nếu nó xảy ra thường xuyên hoặc liên tục, nguyên nhân cơ bản cần được giải quyết. Hệ thống theo dõi số lượng sự kiện giới hạn đồng hồ, vì vậy nếu số lượng này tăng nhanh, có thể cần điều tra thêm. |
Hoạt động SM
SM là viết tắt của Streaming Multiprocessor, là đơn vị tính toán cốt lõi bên trong GPU. Một GPU đơn có thể có hàng chục đến hàng trăm SM, và mỗi SM bao gồm nhiều lõi. Hoạt động SM cho biết mức độ tích cực mà các SM này đang thực hiện các phép tính.
Hoạt động SM cung cấp cái nhìn chi tiết hơn so với tổng thể Sử dụng GPU. Trong khi Sử dụng GPU cho thấy tỷ lệ phần trăm thời gian mà GPU đang hoạt động, Hoạt động SM cho biết có bao nhiêu lõi thực sự đang được sử dụng trong quá trình hoạt động. Ví dụ, một Sử dụng GPU 80% không nhất thiết có nghĩa là mọi SM đang hoạt động ở tải 80%; một số SM có thể đang chạy ở 100% trong khi những SM khác thì nhàn rỗi.
Recommended Range:- Đối với các GPU đã phân bổ: Trên 50% (lý tưởng là trên 75%).
- SM thấp → Thiếu tính song song → Tăng kích thước lô hoặc áp dụng phân tán mô hình
Lỗi ECC
ECC là viết tắt của Error Correcting Code, một công nghệ tự động phát hiện và sửa chữa lỗi bit trong bộ nhớ GPU. Hầu hết các GPU lớp trung tâm dữ liệu được trang bị bộ nhớ ECC để đảm bảo tính toàn vẹn dữ liệu. ECC là rất quan trọng cho các khối lượng công việc mà độ chính xác là rất quan trọng, chẳng hạn như đào tạo AI hoặc tính toán khoa học.
Có hai loại lỗi ECC. Lỗi Bit Đơn (SBE) xảy ra khi chỉ có một bit duy nhất không chính xác; ECC có thể tự động sửa chữa điều này. Các SBE thỉnh thoảng là bình thường và có thể xảy ra tự nhiên do tia vũ trụ hoặc tiếng ồn điện. Lỗi Bit Đôi (DBE) xảy ra khi hai hoặc nhiều bit không chính xác; ECC không thể sửa chữa điều này. Các DBE có thể dẫn đến hỏng dữ liệu hoặc sự cố hệ thống. Giám sát lỗi ECC là rất quan trọng để theo dõi tình trạng của phần cứng bộ nhớ. Nếu số lượng lỗi ECC tổng hợp vượt quá 1.000, nên xem xét việc thay thế bộ nhớ của GPU. Sự gia tăng đột ngột trong tỷ lệ lỗi ECC là một dấu hiệu mạnh mẽ của việc bộ nhớ đang xấu đi.
Nếu xảy ra ngay cả một DBE, nó được phân loại là một sự kiện quan trọng. GPU bị ảnh hưởng nên được ngay lập tức loại bỏ khỏi các công việc và kiểm tra. Điều này đặc biệt quan trọng trong các công việc đào tạo quan trọng, vì một DBE có thể làm cho kết quả không đáng tin cậy.
Error Types- Single Bit Error (SBE): Tự động có thể sửa chữa; các trường hợp thỉnh thoảng là bình thường
- Double Bit Error (DBE): Không thể sửa chữa; có thể gây ra sự cố dữ liệu
- Lỗi ECC tổng hợp ≥ 1.000: Xem xét thay thế bộ nhớ GPU
- Ít nhất một DBE: Tình trạng quan trọng; ngay lập tức dừng công việc và kiểm tra GPU
Hệ thống Đánh giá Sức khỏe GPU
Khi người dùng hiểu ý nghĩa của từng chỉ số riêng lẻ, bước tiếp theo là đánh giá tình trạng sức khỏe tổng thể của một GPU bằng cách tích hợp các chỉ số này. Hệ thống này không chỉ đơn giản là trình bày các con số thô—nó phân tích nhiều chỉ số và phân loại mỗi GPU thành sáu cấp độ, cho phép cả quản trị viên và người dùng dễ dàng đánh giá tình trạng của GPU chỉ trong một cái nhìn.
Cấp độ Tình trạng
Mỗi GPU được đánh giá và phân loại vào một trong sáu cấp độ tình trạng. Những tình trạng này được mã màu và hiển thị trên bảng điều khiển, cho phép quản trị viên và người dùng nhanh chóng quét hàng chục GPU và ngay lập tức phát hiện bất kỳ vấn đề nào.
| Status | Color | Meaning | Example |
|---|---|---|---|
| Xuất sắc | Xanh lá | Hiệu suất tối ưu | Sử dụng 90%, Nhiệt độ 65°C |
| Tốt | Xanh lá | Hoạt động bình thường | Sử dụng 60%, Nhiệt độ 75°C |
| Kém | Vàng | Hiệu suất không tối ưu | Sử dụng 30%, cần điều chỉnh |
| Tồi tệ | Cam | Hiệu quả nghiêm trọng | Sử dụng 10%, kiểm tra ngay lập tức |
| Cảnh báo | Cam | Trạng thái cảnh báo | Nhiệt độ 87°C, phát hiện giảm tốc |
| Quan trọng | Đỏ | Cần hành động ngay lập tức | Nhiệt độ 92°C, lỗi XID |
- Excellent: Đây là trạng thái tốt nhất, nơi mọi thứ hoạt động lý tưởng. GPU được chỉ định đang thực hiện các tác vụ với hiệu suất cao, nhiệt độ thấp và tất cả các chỉ số đều nằm trong phạm vi tối ưu. Hiển thị bằng màu xanh, người dùng có thể làm việc với tâm trí thoải mái. Đối với các quản trị viên, việc phần lớn cụm ở trạng thái Xuất sắc cho thấy cơ sở hạ tầng khỏe mạnh.
- Good: Đây là một trạng thái hoạt động bình thường và khỏe mạnh. Tất cả các chỉ số đều nằm trong phạm vi chấp nhận được, mặc dù không được tối ưu hóa như Xuất sắc. Ví dụ, mức sử dụng GPU 60% đáp ứng các mức khuyến nghị nhưng không đạt được mức lý tưởng 75%. Cũng hiển thị bằng màu xanh, không có vấn đề gì, nhưng vẫn còn chỗ để cải thiện.
- Bad: Trạng thái này cho thấy hiệu suất không đủ. GPU đã được phân bổ nhưng không được sử dụng hiệu quả; ví dụ, mức sử dụng chỉ 30% hoặc mức sử dụng bộ nhớ là tối thiểu. Điều này được hiển thị bằng màu vàng và báo hiệu cho người dùng tối ưu hóa khối lượng công việc của họ. Chi phí bị lãng phí, nhưng không có rủi ro ngay lập tức.
- Poor: Đây là trạng thái hiệu suất rất thấp, thậm chí kém hiệu quả hơn cả Kém. Nó xảy ra khi mức sử dụng GPU dưới 10% hoặc GPU đã được phân bổ nhưng gần như không thực hiện công việc nào. Hiển thị bằng màu cam, trạng thái này yêu cầu điều tra ngay lập tức. Có thể có một lỗi trong mã, hoạt động đã thất bại nhưng GPU vẫn được phân bổ, hoặc nhà phát triển đã quên trả lại GPU.