Inference Service List

Inference Service List 屏幕允许系统管理员查看、过滤和管理系统中的所有推理服务。

访问 Inference Service List 屏幕

在系统管理员控制面板中，点击主导航中的 Model 。然后，在左侧导航中选择 Inference Service List.。

搜索已部署模型

您可以使用 Search 功能快速找到特定模型。搜索可以基于以下过滤器进行：

• Name: 按部署名称过滤。
• Status：按模型状态过滤（例如，运行中、未准备好、已停止）
• Namespace：按命名空间过滤。
• Cluster：按集群过滤。

系统会在用户选择条件或输入值时实时自动更新模型列表。

查看已部署模型列表

用户可以查看包含以下信息的已部署模型列表：

• Deployment name
• Cluster：集群名称
• Namespace：部署的命名空间
• Deployed model：已部署模型的名称
  • Orange：项目名称
  • Blue：模型的版本（标签）
• Framework：服务框架
• Status：模型状态（例如，运行中、未准备好、已停止、未知）
• Resources：
  • Blue：CPU 信息
  • Purple：RAM 信息
  • Green/ Orange/ Outline：GPU 资源配置文件名称
    • 绿色：完整 GPU
    • 橙色：MIG
    • 轮廓：无 GPU
  • Light cyan：GPU 资源配置文件数量
  • Gray：池名称
• Endpoint：模型 URL
• Created at：部署创建日期时间

操作菜单

启动

• 仅在模型状态为“已停止”时显示。
• 允许用户触发初始化和运行模型的过程。

Playground

允许用户实时测试已部署的模型并验证其性能。

Pause

• 仅在模型状态为“未准备好”或“正在运行”时显示。
• 允许用户停止正在运行的模型。

Detail

单击时，用户将导航到部署详细信息屏幕。

Edit

单击时，用户将导航到部署详细信息屏幕。