跳到主要内容

Architecture

控制平面​

  • Model Registry: 管理模型元数据和版本，支持从 Hugging Face 迁移到 Gitea，并允许将内部模型库上传到 Git。
  • Model Deploy/Orchestrator: 处理部署工作流、目标集群选择，并生成 InferenceService (ISVC) 规范。
  • AI Gateway: API 入口点，身份验证/授权，路由
  • Playground: 用于已部署模型的实际验证和测试的用户界面。
  • MCM Service: 管理和监控多集群资源（从每个集群收集 K8s 资源状态，发出部署命令）。

数据平面（在每个 K8s 集群中）​

  • KServe (Agent/Controller): 接收 InferenceService (ISVC) 规范并创建实际的 Pods/Containers。
  • Model Artifact Puller: 从 Gitea 下载模型并将其存储在 PVCs 中以供重用。
  • Serving Runtime (e.g., vLLM): 加载模型并通过运行时容器提供推理。
  • Health/Log/Metric Endpoints: 暴露状态（就绪/未就绪）、日志流和资源使用指标。