Overview
Quản lý GPU là gì?
Chức năng quản lý GPU quản lý trạng thái của tất cả các thành phần GPU thông qua Bảng điều khiển GPU, đây là một chức năng hướng tới người vận hành, và quản lý trạng thái sử dụng của GPU thông qua công suất vật lý/logical, yêu cầu và phân bổ tài nguyên GPU.
Bạn có thể quản lý toàn bộ vòng đời, từ việc tạo pool GPU từ Giao nhiệm vụ đến Tối ưu hóa và sau đó Giám sát, thông qua một giao diện duy nhất.
Tính năng chính
- GPU Capacity: Tăng cường sử dụng bằng cách quản lý công suất thực tế của phần cứng GPU vật lý như một pool.
- NodeCapacity: Thông tin về công suất tổng thể của mỗi nút GPU
- GpuCapacity: Chi tiết về các thiết bị GPU riêng lẻ
- Profile: Mục đích của việc ánh xạ thông tin pod đã được chỉ định thực tế (theo dõi khối lượng công việc)
- SpecAndCount: Được sử dụng để quản lý tài nguyên MIG hoặc GPU đã được cung cấp
- GPU Pool Management: Nhóm hoặc tách biệt GPU theo loại khối lượng công việc và quản lý như các pool ở cấp độ dự án.
- GPU Monitoring: Đo lường việc sử dụng GPU qua tiêu thụ điện năng, hoạt động SM và lỗi bộ nhớ
Tham khảo kiến trúc
Các GPU được quản lý thông qua ngăn xếp quản lý GPU do Nvidia cung cấp trong các cấu hình Nvidia H100 và H200, và vòng đời của GPU (lên lịch container, tài nguyên theo tải, cách ly, v.v.) được quản lý một cách tích hợp dựa trên Kubernetes. Do đó, các GPU đã được phân bổ áp dụng các nguyên tắc hành vi khối lượng công việc tương tự trên Kubernetes (chẳng hạn như phân bổ tài nguyên thông qua phân phối ứng dụng).
| Layer | Element | Role | Feature |
|---|---|---|---|
| Vật lý | Nút Kubernetes | Máy chủ vật lý | Hạ tầng vật lý lưu trữ tài nguyên máy chủ |
| Phần cứng GPU | GPU vật lý | Chịu trách nhiệm về các phép toán liên quan đến AI | |
| Logic | Kubernetes Api Server | API Server | Kiểm soát Kubernetes |
| Operator | Quản lý GPU | Quản lý và cung cấp tài nguyên GPU | |
| MCM (Quản lý Đa cụm) | Quản lý Cụm | Quản lý Cụm Kubernetes và Tài nguyên GPU | |
| Dung lượng | Quản lý Dung lượng | Các đối tượng quản lý tài nguyên giữa bể GPU và vật lý | |
| Bể GPU | Quản lý việc sử dụng của bạn | Một đối tượng được quản lý được gán cho người dùng cuối như một tài nguyên logic |
Phương pháp Quản lý GPU
GPU quản lý tài nguyên GPU dưới dạng MIG được chia thành GPU vật lý và các phiên bản GPU độc lập trên GPUaaS, đây là một công nghệ ảo hóa GPU dựa trên phần cứng được Nvidia giới thiệu từ A100.
Cung cấp MIG (GPU Đa Phiên bản)
GPU Đa Phiên bản (MIG) là một công nghệ đổi mới từ NVIDIA cho phép một GPU đơn lẻ được phân chia thành tối đa bảy phiên bản GPU độc lập. Mỗi phiên bản có bộ nhớ, bộ đệm và bộ xử lý đa luồng riêng biệt, và hoạt động hoàn toàn tách biệt ở cấp độ phần cứng. Điều này cung cấp một môi trường đa người dùng an toàn, nơi sự cố trên một phiên bản không ảnh hưởng đến các phiên bản khác.
- Tối đa hóa hiệu quả tài nguyên
- Nhiều người dùng sử dụng một GPU đắt tiền (ví dụ: A100) cùng một lúc
- Sử dụng hiệu quả chi phí cho các khối lượng công việc không yêu cầu hiệu suất GPU đầy đủ
- Cải thiện ROI bằng cách giảm thiểu tài nguyên GPU không sử dụng
- Hỗ trợ đa người dùng
- Chia sẻ an toàn cùng một GPU giữa nhiều dự án hoặc nhóm
- Đảm bảo cách ly hoàn toàn giữa mỗi phiên bản (bộ nhớ, tài nguyên tính toán)
- Sự cố của một phiên bản không ảnh hưởng đến phiên bản khác
- Gán tùy chỉnh khối lượng công việc
- Nhiệm vụ suy diễn: Cung cấp hiệu suất đủ ngay cả với một lượng bộ nhớ nhỏ
- Dev/Test: Cho phép phát triển lặp lại nhanh chóng với tài nguyên nhỏ
- Xử lý theo lô: Chạy nhiều công việc nhỏ song song cùng một lúc
- Cải thiện hiệu quả hoạt động
- Giảm độ trễ hàng đợi GPU (nhiều phiên bản có sẵn hơn)
- Tăng cường tính linh hoạt trong việc lập lịch và tài nguyên lập lịch
- Phân bổ chi phí chính xác dựa trên mức sử dụng
- Khả năng mở rộng và dễ quản lý
- Chứa nhiều người dùng hơn mà không cần thêm GPU vật lý
- Quản lý tài nguyên GPU tập trung
- Tối ưu hóa với việc phân bổ lại tài nguyên động
Cung cấp GPU đầy đủ
MIG không phù hợp cho tất cả các khối lượng công việc, và trong các môi trường yêu cầu hiệu suất cao, xử lý song song lớn, việc tận dụng một GPU đầy đủ là hiệu quả nhất. Việc sử dụng GPU đầy đủ chủ yếu được sử dụng cho đào tạo quy mô lớn (học sâu), đào tạo LLM (GPT-3, v.v.), suy diễn các mô hình lớn, mô phỏng hiệu suất cao và tính toán khoa học, và chủ yếu được sử dụng cho Multi-GPU, Fine-Tuning, v.v. Đây là việc sử dụng độc quyền toàn bộ GPU trong một khối lượng công việc. Nó được tối ưu hóa cho việc đào tạo các mô hình AI quy mô lớn hoặc các tác vụ tính toán hiệu suất cao.
| Category | MIG (Multi-Instance GPU) | Full GPU |
|---|---|---|
| Cấu trúc Tài nguyên | Phân vùng cấp phần cứng của GPU (1 đến 7 phiên bản) | Sử dụng toàn bộ GPU như một tài nguyên duy nhất |
| Cấp độ Tách biệt | Tách biệt cấp phần cứng (tách biệt bộ nhớ và bộ đệm) | Tài nguyên chia sẻ (tài nguyên dựa trên một GPU duy nhất) |
| Hiệu suất | Đa người dùng mật độ cao | Hiệu suất tối đa, sử dụng băng thông cao |
| Khối lượng công việc phù hợp | Suy diễn, Fine-Tuning nhỏ | Đào tạo quy mô lớn, đào tạo multi-GPU |
Billing Method: GPUaaS cung cấp dịch vụ thanh toán tự động theo dõi việc sử dụng GPU Pool và tạo ra dữ liệu thanh toán. Việc sử dụng GPU trở thành có thể tính phí sau khi được phê duyệt yêu cầu sử dụng Pool ở cấp độ dự án, và các tài nguyên được phân bổ cho một Pool được dành riêng cho dự án đó và không thể chia sẻ với các dự án khác.