Deploy a Model to a Cluster
您可以将注册的模型部署到 Kubernetes 集群中，以在真实服务环境中运行。部署的模型作为集群中的 InferenceService 运行，提供实时预测或对外部请求的响应。
如何部署模型
步骤 1：开始模型部署
您有两种方式来部署模型：
选项 1：从模型主页或左侧菜单，导航到 Model Serving > Serve Model。
选项 2：在 Model Registry > Model List 中，选择您希望部署的模型，然后点击 Deploy 按钮。
步骤 2：配置部署目标
- Deployment Name（必填）
- 输入此部署的唯一名称。
- 这将用作 Kubernetes 资源名称。
- 示例：”bert-classifier-prod”、”gpt2-service-v1”
- Cluster（必填）
- 选择您希望部署模型的 Kubernetes 集群。
- 从注册集群列表中选择。
- Namespace（必填）
- 选择部署的命名空间。
- 一旦选择了集群，该集群的可用命名空间将自动加载。
步骤 3：选择模型
- Model（必填）
- 从模型注册表中注册的模型列表中选择要部署的模型。
- 项目和模型名称将会显示。
- Tag (必填)
- 选择要部署的模型版本（标签）。
- 示例：”latest”、”v1.0.0”、”prod”
- Serving Framework (必填)
- 选择服务框架。
- 示例：HuggingFace (vLLM)、PyTorch、TensorFlow、ONNX、Triton等。
- Description (可选)
- 输入部署的描述。
第4步：配置资源
-
CPU Request
- 指定请求的CPU资源数量。
- 可用单位：Core, m (毫核心)
- 示例：”2 Core”、”1000m”
-
Memory Request
- 指定请求的内存数量。
- 可用单位：Gi, Mi
- 示例：”4Gi”、”2048Mi”
-
GPU Pool
- 选择要使用的GPU池。
-
GPU Profile
- 选择GPU类型和规格。
- 示例：NVIDIA Tesla V100、A100等。
-
GPU Count
- 指定所需的GPU数量。
- 示例：”1”、”2”、”4”
-
Storage
- 指定存储大小。
- 单位：Gi, Mi
- 示例：”10Gi”
-
Shared Memory
- 指定共享内存的大小。
- 单位：Gi
- 示例：”2Gi”
提示
💡 推荐：在选择部署模型时，根据模型的元数据提供推荐和最小资源（GPU、CPU、RAM）的提示。
第5步：高级设置（可选）
- Additional Arguments
设置要传递给模型服务器的附加参数。
- 以键值对的形式输入。
- 示例：”-max_batch_size=32”、”-timeout=60”
- Node Selectors 限制部署到特定节点。
- 以键值对的形式输入。
- 示例：”node-type=gpu”,”zone=us-east-1a”
- Tolerations
允许在具有特定污点的节点上进行部署。
- 输入键、运算符、效果和值。
- 示例：
- 键：”gpu”
- 运算符：”Equal”
- 效果：”NoSchedule”
- 值：”true”
第6步：执行部署
- 审查所有设置。
- 点击 Deploy 按钮。
- 一旦部署开始，您将被重定向到 Inference Service List 页面。
第7步：检查部署状态
- 在 Inference Service List 中检查部署状态。
- Running: 成功运行
- Not Ready: 正在运行，但模型仍在初始化
- Stopped: 部署已暂停
- Unknown: 状态无法确定
- 点击部署名称以查看详细信息，例如 pod 状态、端点信息、部署 YAML、日志等。
第8步：管理部署
在操作菜单中，您可以执行以下操作：
- Pause/Start: 暂停或恢复部署
- Playground: 查询正在运行的模型或通过 API 测试它
- Detail: 查看有关模型的详细信息
- Edit: 更改模型版本或部署设置
- Delete: 移除部署