Deploy a Model to a Cluster

Bạn có thể triển khai các mô hình đã đăng ký lên một cụm Kubernetes để hoạt động trong môi trường dịch vụ thực. Mô hình đã triển khai chạy như một InferenceService trong cụm, cung cấp dự đoán hoặc phản hồi theo thời gian thực cho các yêu cầu bên ngoài.

Cách triển khai một mô hình

Bước 1: Bắt đầu triển khai mô hình

Bạn có hai cách để triển khai một mô hình:

Tùy chọn 1: Từ màn hình chính của Mô hình hoặc menu bên trái, điều hướng đến Model Serving > Serve Model.

Tùy chọn 2: Trong Model Registry > Model List, chọn mô hình bạn muốn triển khai và nhấp vào nút Deploy.

Bước 2: Cấu hình mục tiêu triển khai

1. Deployment Name (Bắt buộc)

• Nhập một tên duy nhất cho việc triển khai này.
• Tên này sẽ được sử dụng làm tên tài nguyên Kubernetes.
• Ví dụ: ”bert-classifier-prod”, ”gpt2-service-v1”

1. Cluster (Bắt buộc)

• Chọn cụm Kubernetes nơi bạn muốn triển khai mô hình.
• Chọn từ danh sách các cụm đã đăng ký.

1. Namespace (Bắt buộc)

• Chọn không gian tên cho việc triển khai.
• Khi một cụm được chọn, các không gian tên có sẵn cho cụm đó sẽ được tải tự động.

Bước 3: Chọn mô hình

1. Model (Bắt buộc)

• Chọn mô hình để triển khai từ danh sách các mô hình đã đăng ký trong Model Registry.
• Cả tên dự án và tên mô hình sẽ được hiển thị.

1. Tag (Bắt buộc)

• Chọn phiên bản (thẻ) của mô hình để triển khai.
• Ví dụ: ”latest”, ”v1.0.0”, ”prod”

1. Serving Framework (Bắt buộc)

• Chọn khung phục vụ.
• Ví dụ: HuggingFace (vLLM), PyTorch, TensorFlow, ONNX, Triton, v.v.

1. Description (Tùy chọn)

• Nhập mô tả cho việc triển khai.

Bước 4: Cấu hình Tài nguyên

1. CPU and Memory Settings

• CPU Request
  • Xác định số lượng tài nguyên CPU cần yêu cầu.
  • Đơn vị có sẵn: Core, m (millicore)
  • Ví dụ: ”2 Core”, ”1000m”
• Memory Request
  • Xác định số lượng bộ nhớ cần yêu cầu.
  • Đơn vị có sẵn: Gi, Mi
  • Ví dụ: ”4Gi”, ”2048Mi”

2. GPU Settings (Optional)

• GPU Pool
  • Chọn nhóm GPU để sử dụng.
• GPU Profile
  • Chọn loại và thông số kỹ thuật GPU.
  • Ví dụ: NVIDIA Tesla V100, A100, v.v.
• GPU Count
  • Xác định số lượng GPU cần thiết.
  • Ví dụ: ”1”, ”2”, ”4”

3. Storage Settings

• Storage
  • Xác định kích thước lưu trữ.
  • Đơn vị: Gi, Mi
  • Ví dụ: ”10Gi”
• Shared Memory
  • Xác định kích thước bộ nhớ chia sẻ.
  • Đơn vị: Gi
  • Ví dụ: ”2Gi”

mẹo

💡 Được khuyến nghị: Khi chọn mô hình triển khai, các gợi ý về tài nguyên được khuyến nghị và tối thiểu (GPU, CPU, RAM) sẽ được cung cấp dựa trên siêu dữ liệu của mô hình.

Bước 5: Cài đặt Nâng cao (Tùy chọn)

1. Additional Arguments

Đặt các tham số bổ sung để truyền đến máy chủ mô hình.

• Nhập dưới dạng cặp khóa-giá trị.
• Ví dụ: ”-max_batch_size=32”, ”-timeout=60”

1. Node Selectors Hạn chế triển khai trên các nút cụ thể.

• Nhập dưới dạng cặp khóa-giá trị.
• Ví dụ: ”node-type=gpu”,”zone=us-east-1a”

1. Tolerations

Cho phép triển khai trên các nút có các dấu hiệu cụ thể.

• Nhập Khóa, Toán tử, Tác động và Giá trị.
• Ví dụ:
  • Khóa: ”gpu”
  • Toán tử: ”Bằng”
  • Tác động: ”Không Lịch Trình”
  • Giá trị: ”true”

Bước 6: Thực hiện Triển khai

1. Xem lại tất cả các cài đặt.
2. Nhấp vào nút Deploy.
3. Khi triển khai bắt đầu, bạn sẽ được chuyển hướng đến trang Inference Service List.

Bước 7: Kiểm tra Trạng thái Triển khai

1. Kiểm tra trạng thái triển khai trong Inference Service List.
   • Running: Đang chạy thành công
   • Not Ready: Đang chạy, nhưng mô hình vẫn đang khởi tạo
   • Stopped: Triển khai đã bị tạm dừng
   • Unknown: Trạng thái không thể xác định
2. Nhấp vào tên triển khai để xem chi tiết như trạng thái pod, thông tin điểm cuối, YAML triển khai, nhật ký và nhiều hơn nữa.

Bước 8: Quản lý Triển khai

Từ menu Hành động, bạn có thể thực hiện các thao tác sau:

• Pause/Start: Tạm dừng hoặc tiếp tục triển khai
• Playground: Truy vấn mô hình đang chạy hoặc kiểm tra nó qua API
• Detail: Xem thông tin chi tiết về mô hình
• Edit: Thay đổi phiên bản mô hình hoặc cài đặt triển khai
• Delete: Xóa triển khai