AI 게이트웨이는 게이트웨이 운영, 트래픽 제어 및 서비스 가시성을 지원하기 위한 핵심 기능 세트를 제공합니다.

게이트웨이 관리

Gateway

정의: AI 게이트웨이의 진입점 역할을 하는 Kubernetes 게이트웨이 리소스를 관리합니다.

주요 기능:

• 클러스터와 네임스페이스에 배포된 게이트웨이를 보고 관리합니다.
• 리스너, TLS 및 라우팅 관련 설정을 구성하고, 운영/문제 해결을 위한 게이트웨이 세부정보를 검토합니다.

Gateway Configuration

정의: 공유 리소스, 복제 수 및 태그를 포함하여 게이트웨이 인스턴스에 적용되는 일반 설정에 대한 템플릿을 관리합니다. 여러 게이트웨이가 동일한 구성을 참조하여 일관된 리소스 및 운영 정책을 시행할 수 있습니다.

주요 기능:

• 재사용 가능한 게이트웨이 구성 템플릿을 생성하고 관리합니다.
• 일반 리소스 정책(리소스), 복제본 및 태그 기준을 정의합니다.
• 동일한 구성을 참조하여 여러 게이트웨이에 일관된 설정을 적용합니다.

TLS Secret(Certificates)

정의: Kubernetes 비밀 리소스를 관리하고, HTTPS 엔드포인트를 위한 게이트웨이 리스너가 사용하는 인증서/개인 키 쌍의 등록, 회전 및 삭제를 지원합니다.

주요 기능:

• TLS 비밀을 생성하고 관리합니다.
• 사용하지 않거나 만료된 TLS 자료를 삭제하고 운영을 위한 TLS 비밀 세부정보를 검토합니다.

Traffic

Backend

정의: 외부 LLM 제공업체(예: OpenAI, Anthropic) 및 클러스터 내 모델/REST 서비스와 같은 API의 라우팅 대상을 관리합니다.

주요 기능:

• 백엔드를 등록하고 백엔드 연결 설정 및 엔드포인트를 관리합니다.
• 라우팅 대상을 검증하고 문제를 해결하기 위해 백엔드 세부정보를 봅니다.

API

정의: 게이트웨이에서 호스트 이름, 경로 접두사, 일치 조건, 백엔드, 필터 및 정책을 단일 게이트웨이 노출 단위로 묶어 트래픽 라우팅 규칙(HTTPRoute/API)을 정의합니다.

주요 기능:

• API를 생성하고 API 구성을 관리합니다.
• 운영 제어를 위한 API 세부정보를 검토합니다.

Traffic Policies

정의: Kubernetes Gateway API 정책 첨부 모델을 따르며 인증, 속도 제한, 헤더 변환 및 AI 프롬프트 가드를 포함한 게이트웨이 및 라우트에 적용된 트래픽 정책을 관리합니다.

주요 기능:

• 게이트웨이를 위한 재사용 가능한 트래픽 정책을 생성하고 관리합니다.
• 운영 및 문제 해결을 위한 정책 바인딩 및 효과적인 동작을 검사합니다.

API Key

정의: 주로 공용 LLM 공급자를 위한 API 키와 사용자 인증을 위한 자격 증명을 저장하는 데 사용되는 Kubernetes 비밀 리소스를 관리합니다.

주요 기능:

• Kubernetes 비밀 리소스를 생성하고 관리합니다.
• 운영/문제 해결을 위한 메타데이터 및 참조를 봅니다.

가시성

Topology

정의: 게이트웨이, API, 백엔드, 정책 및 비밀 간의 관계 그래프를 시각화하여 트래픽 흐름, 정책 첨부 및 백엔드 매핑을 한눈에 볼 수 있습니다.

주요 기능:

• 구성 요소 관계 및 고수준 흐름을 시각화합니다.
• 운영 이해 및 문제 해결을 지원합니다.