Chuyển tới nội dung chính

Architecture

Plane Điều Khiển​

  • Model Registry: Quản lý siêu dữ liệu và phiên bản mô hình, hỗ trợ di chuyển từ Hugging Face sang Gitea, và cho phép tải lên các kho mô hình nội bộ lên Git.
  • Model Deploy/Orchestrator: Xử lý quy trình triển khai, lựa chọn cụm mục tiêu, và tạo ra các thông số InferenceService (ISVC).
  • AI Gateway: Điểm truy cập API, xác thực/ủy quyền, định tuyến
  • Playground: Giao diện người dùng cho việc xác thực và kiểm tra mô hình đã triển khai trong thực tế.
  • MCM Service: Quản lý và giám sát tài nguyên đa cụm (thu thập trạng thái tài nguyên K8s từ mỗi cụm, phát lệnh triển khai).

Plane Dữ Liệu (trong mỗi cụm K8s)​

  • KServe (Agent/Controller): Nhận các thông số InferenceService (ISVC) và tạo ra các Pods/Containers thực tế.
  • Model Artifact Puller: Tải mô hình từ Gitea và lưu trữ chúng trong PVCs để tái sử dụng.
  • Serving Runtime (e.g., vLLM): Tải mô hình và cung cấp suy diễn thông qua các container thời gian chạy.
  • Health/Log/Metric Endpoints: Phơi bày trạng thái (Sẵn sàng/Không sẵn sàng), phát trực tiếp nhật ký, và số liệu sử dụng tài nguyên.