跳到主要内容

AI Gateway 提供了一组专注的关键功能，以支持网关操作、流量控制和服务可观察性。

网关管理

网关​

Definition: 管理作为 AI Gateway 入口点的 Kubernetes 网关资源。

Key Functions:
  • 查看和管理部署在各个集群和命名空间中的网关。
  • 配置监听器、TLS 和路由相关设置；查看网关详细信息以进行操作/故障排除。

网关配置​

Definition: 管理应用于网关实例的常见设置模板，包括共享资源、副本数量和标签。多个网关可以引用相同的配置，以强制执行一致的资源和操作策略。

Key Functions:
  • 创建和管理可重用的网关配置模板。
  • 定义常见资源策略（资源）、副本和标签标准。
  • 通过引用相同的配置在多个网关之间应用一致的设置。

TLS 秘密（证书）​

Definition: 管理 Kubernetes 秘密资源，并支持用于网关监听器的 HTTPS 端点的证书/私钥对的注册、轮换和删除。

Key Functions:
  • 创建和管理 TLS 秘密。
  • 删除未使用/过期的 TLS 材料，并查看 TLS 秘密的详细信息以进行操作。

流量

后端​

Definition: 管理 API 的路由目标，包括外部 LLM 提供商（例如，OpenAI、Anthropic）和集群内模型/REST 服务。

Key Functions:
  • 注册后端并管理后端连接设置和端点。
  • 查看后端详细信息以验证路由目标并排除问题。

API​

Definition: 定义网关上的流量路由规则（HTTPRoute/API），通过将主机名、路径前缀、匹配条件、后端、过滤器和策略捆绑成一个单一的网关暴露单元。

Key Functions:
  • 创建API并管理API配置。
  • 审查API详细信息以进行操作控制。

流量策略​

Definition: 管理应用于网关和路由的流量策略，例如身份验证、速率限制、头部转换和AI提示保护，遵循Kubernetes网关API策略附加模型。

Key Functions:
  • 创建和管理可重用的流量策略以供网关使用。
  • 检查策略绑定和有效行为以进行操作和故障排除。

API密钥​

Definition: 管理Kubernetes Secret资源，主要用于存储公共LLM提供者的API密钥和用户身份验证的凭据。

Key Functions:
  • 创建和管理Kubernetes Secret资源。
  • 查看操作/故障排除的元数据和引用。

可观察性

拓扑​

Definition: 可视化网关、API、后端、策略和密钥之间的关系图，以便一目了然地查看流量流动、策略附加和后端映射。

Key Functions:
  • 可视化组件关系和高层次流动
  • 支持操作理解和故障排除