跳到主要内容

Deployment Details

此屏幕允许用户查看模型部署的详细信息。它帮助用户理解基本的部署细节,监控错误,跟踪部署状态和性能,管理生命周期操作,并快速识别操作问题。

概述选项卡

基本信息

显示部署信息:

  • Inference service name: 部署名称
  • Namespace: 部署的命名空间
  • Framework: 服务框架
  • Endpoint: 部署服务的 URL
  • Status: 部署状态

已部署模型

显示已部署模型的信息:

  • Model project: 项目名称
  • Model name: 模型名称
  • Model tag: 模型的版本(标签)
  • Pool name: GPU池名称

状态

显示条件组,允许用户确定部署的当前操作状态。如果出现错误,这有助于用户快速识别和隔离问题以进行故障排除和解决。

Pods

显示模型的 Pod 信息,以识别哪个 Pod 正在使用该模型:

  • Pod Name: Pod 名称
  • CPU Limits: 分配给 Pod 的最大 CPU 资源量。
  • CPU Requests: Pod 请求的用于调度的 CPU 资源量。
  • GPU Spec: 分配给 Pod 的 GPU 规格
  • Memory Limits: 分配给 Pod 的最大内存容量。
  • Memory Requests: Pod 请求的用于调度的内存量。
  • Memory Usage: Pod 在运行时的当前内存使用情况。
  • Node: Pod 当前运行的节点。
  • Phase: Pod 的状态。
  • Ready Status: 表示 pod 的就绪状态,以就绪容器的数量与总容器数量的比率显示

YAML 标签

本节显示每个模型部署的 YAML 文件,使用户能够检查配置细节、资源分配和与已部署模型相关的元数据。

日志标签

显示 pod 日志信息,以帮助用户监控运行时行为并诊断模型执行期间的问题。

用户必须选择一个 pod,然后选择 pod 内的一个容器以查看日志信息: