Chuyển tới nội dung chính

Key Feature

Quản lý Mô hình cung cấp bốn tính năng cốt lõi sau:

  • Model Registry: Đăng ký và quản lý mô hình
  • Model Serving: Triển khai và phục vụ mô hình
  • Playground: Kiểm tra và xác thực mô hình
  • Monitoring & Management: Giám sát hoạt động mô hình
mẹo

Mẹo: Nếu bạn là người dùng lần đầu, chúng tôi khuyên bạn nên học theo thứ tự Đăng ký Mô hình → Phục vụ Mô hình → Sân chơi.

Đăng Ký Mô Hình​

Lưu trữ và phiên bản an toàn các mô hình AI/ML trong một kho lưu trữ tập trung.

Chức Năng Chính​

  • Lưu trữ Mô hình: Nhập mô hình từ Hugging Face hoặc đăng ký các mô hình phát triển tùy chỉnh
  • Kiểm Soát Phiên Bản: Phiên bản và gán nhãn dựa trên Git
  • Quản Lý Siêu Dữ Liệu: Quản lý thông tin như mô tả mô hình, khung, và loại nhiệm vụ
  • Kiểm Soát Truy Cập: Đặt phạm vi chia sẻ với các tùy chọn riêng tư/công khai
  • Tìm Kiếm Mô Hình: Tìm kiếm và lọc mô hình theo dự án hoặc thẻ

Trường Hợp Sử Dụng​

  • Nhập các mô hình đã được huấn luyện từ Hugging Face Hub
  • Tải lên và kiểm soát phiên bản các mô hình phát triển tùy chỉnh
  • Chia sẻ và tái sử dụng mô hình giữa các nhóm

Phục Vụ Mô Hình​

Triển khai các mô hình đã đăng ký lên các cụm Kubernetes, làm cho chúng có sẵn như các dịch vụ trực tiếp.

Chức Năng Chính​

  • Triển Khai Một Nhấp: Triển khai lên các môi trường sản xuất với cấu hình đơn giản
  • Quản Lý Tài Nguyên: Tối ưu hóa CPU, bộ nhớ và tài nguyên GPU
  • Hỗ Trợ Đa Cụm: Phân phối các triển khai qua nhiều cụm
  • Cung Cấp Điểm Kết Nối: Dịch vụ suy diễn qua REST API

Trường Hợp Sử Dụng​

  • Triển khai các mô hình hoàn chỉnh lên các môi trường staging hoặc sản xuất
  • Phục vụ các mô hình hiệu suất cao sử dụng tài nguyên GPU

Sân Chơi​

Một môi trường tương tác để kiểm tra các mô hình đã triển khai trực tiếp từ trình duyệt của bạn, mà không cần lập trình.

Chức Năng Chính​

  • Kiểm Tra Tương Tác: Tương tác thời gian thực với các mô hình thông qua giao diện web
  • Điều chỉnh tham số: Ngay lập tức thay đổi các tham số như Nhiệt độ, Số token tối đa, v.v.
  • Xác thực hiệu suất: Kiểm tra các chỉ số như thời gian phản hồi và mức sử dụng token
  • Hỗ trợ nhiều loại mô hình khác nhau:
    • Chat (GPT, LLaMA, v.v.)
    • Hoàn thành văn bản
    • Nhúng
    • Tạo hình ảnh
    • Âm thanh (TTS, STT, Dịch thuật)

Các trường hợp sử dụng​

  • Xác thực hiệu suất mô hình trước khi triển khai
  • Kiểm tra phản hồi với các giá trị đầu vào khác nhau
  • Tìm các tham số suy diễn tối ưu

Giám sát & Quản lý​

Theo dõi và quản lý trạng thái của các mô hình đã triển khai trong thời gian thực.

Chức năng chính​

  • Giám sát thời gian thực: Theo dõi trạng thái pod và mức sử dụng tài nguyên
  • Quản lý nhật ký: Phát và tìm kiếm nhật ký trong thời gian thực
  • Kiểm soát triển khai: Các chức năng để Bắt đầu, Tạm dừng, Dừng và Xóa các triển khai

Các trường hợp sử dụng​

  • Theo dõi trạng thái và hiệu suất của các mô hình sản xuất
  • Phân tích nhật ký và khắc phục sự cố khi xảy ra vấn đề
  • Tối ưu hóa hoạt động dựa trên mức sử dụng tài nguyên