Key Feature

模型管理提供以下四个核心功能：

• Model Registry: 模型注册和管理
• Model Serving: 模型部署和服务
• Playground: 模型测试和验证
• Monitoring & Management: 模型操作监控

提示

提示：如果您是第一次使用，我们建议按照模型注册 → 模型服务 → 游乐场的顺序学习。

模型注册

安全地存储和版本化 AI/ML 模型于集中式存储库中。

主要功能

• 模型存储：从 Hugging Face 导入模型或注册自定义开发的模型
• 版本控制：基于 Git 的版本管理和标记
• 元数据管理：管理模型描述、框架和任务类型等信息
• 访问控制：设置共享范围，提供私有/公共选项
• 模型搜索：按项目或标签搜索和过滤模型

使用案例

• 从 Hugging Face Hub 导入预训练模型
• 上传和版本控制自定义开发的模型
• 在团队之间共享和重用模型

模型服务

将注册的模型部署到 Kubernetes 集群，使其作为实时服务可用。

主要功能

• 一键部署：通过简单配置部署到生产环境
• 资源管理：优化 CPU、内存和 GPU 资源
• 多集群支持：在多个集群之间分配部署
• 端点配置：通过 REST API 提供推理服务

使用案例

• 将完成的模型部署到暂存或生产环境
• 利用 GPU 资源提供高性能模型

游乐场

一个交互式环境，可以直接从浏览器测试已部署的模型，无需编码。

主要功能

• 交互式测试：通过网页 UI 实时与模型互动
• 参数调整：即时修改参数，如温度、最大令牌等。
• 性能验证：检查响应时间和令牌使用等指标
• 支持多种模型类型：
  • 聊天（GPT、LLaMA等）
  • 文本补全
  • 嵌入
  • 图像生成
  • 音频（TTS、STT、翻译）

用例

• 部署前模型性能验证
• 使用各种输入值进行响应测试
• 寻找最佳推理参数

监控与管理

实时跟踪和管理已部署模型的状态。

主要功能

• 实时监控：监控Pod状态和资源使用
• 日志管理：实时流式传输和搜索日志
• 部署控制：启动、暂停、停止和删除部署的功能

用例

• 监控生产模型的状态和性能
• 分析日志并在出现问题时进行故障排除
• 根据资源使用优化操作