본문으로 건너뛰기

Architectures

개요​

AI 게이트웨이 시스템은 관리 플레인(Management Plane)과 트래픽 플레인(Traffic Plane)으로 구성된 이중 플레인 아키텍처로 설계되었습니다. 두 플레인은 의도적으로 분리되어 있으며, 네이티브 Kubernetes 구성 메커니즘을 통해서만 연결되어 중앙 집중식 거버넌스를 가능하게 하고 신뢰할 수 있는 런타임 집행을 제공합니다.

관리 플레인​

운영자는 다음 기능 영역을 포함하는 관리 패널을 통해 시스템을 관리합니다.

  • Gateway: 게이트웨이 생애 주기 및 관련 구성 요소
  • Backend: 목적지(LLMs, MCP, APIs)의 정의 및 관리
  • Route/API: 라우팅 규칙, 엔드포인트 및 API 매핑
  • Policy: 접근 제어 및 콘텐츠 거버넌스 정책
  • Secret: 자격 증명 및 키 관리
  • Gateway Config: 운영 게이트웨이 설정
  • Topology/Monitoring: 시스템 가시성 및 모니터링 뷰

모든 UI 작업은 Kubernetes CRD로 구체화됩니다. agentgateway는 이러한 CRD를 지속적으로 감시하고 런타임 동작을 조정합니다. 이는 관리와 생산 트래픽 간의 단일 제어된 통합 지점입니다.

트래픽 플레인 (런타임 흐름)​

요청은 왼쪽에서 오른쪽으로 흐릅니다.

Input Traffic (AI Clients)

게이트웨이는 Claude Desktop, Cursor, GitHub Copilot과 같은 일반 AI 클라이언트 및 커스텀 애플리케이션/에이전트로부터 요청을 수락합니다.

agentgateway (Rust Proxy)

모든 요청은 agentgateway를 통과하며, 이곳에서 트래픽을 집행하고 최적화한 후 전달합니다.

  • Auth / AuthZ
  • Rate Limiting
  • Prompt Guard
  • Routing
  • Caching
  • Observability
Backends

처리된 요청은 세 가지 백엔드 카테고리 중 하나로 전달됩니다.

  • AI Model: OpenAI, Anthropic, Bedrock, Gemini, Vertex 등.
  • MCP Server: 도구/데이터 서버 (예: GitHub, Slack, 데이터베이스 등)
  • REST API: 내부 Kubernetes 서비스 또는 외부 HTTP 엔드포인트

구성 요소 요약​

관리 플레인 (이 저장소)​

구성 요소기술역할
Vue UIVue 3.4 + TypeScript 5.4 + Vite 5.3운영자 콘솔, 독립형 또는 MFE (ai-gateway) 포트 8230에서
CORE 서비스REST /core/v1프로파일, 메뉴, 프로젝트 (교차 절단)
AI_GATEWAY 서비스REST /ai-gateway/v1모든 CRD에 대한 CRUD, 영역 + 프로젝트 범위

런타임 플레인 (agentgateway 업스트림 프로젝트)​

구성 요소기술역할
제어 플레인GogatewayReconciler (Helm 렌더) + agentgatewaysyncer (XDS 변환기)
데이터 플레인RustTLS, AuthN/Z, 속도 제한, 프롬프트 가드, 라우팅 — 모두 하나의 포드에서
백엔드 디스패처 (빌트인)4종류 — ai, mcp, static, dynamicForwardProxy

Kubernetes 리소스​

CRDAPI Group목적
Gatewaygateway.networking.k8s.io리스너가 있는 진입점 (호스트 / 포트 / TLS); GatewayClass = agentgateway
HTTPRoutegateway.networking.k8s.io요청 일치 → backendRef; 필터 지원 (재작성 / 리디렉션 / 미러)
AgentgatewayBackendagentgateway.dev/v1alpha1업스트림 정의 (ai / mcp / static / dfp)
AgentgatewayPolicyagentgateway.dev/v1alpha1프론트엔드 / 트래픽 / 백엔드 정책 (AI 하위 정책 포함)
AgentgatewayParametersagentgateway.dev/v1alpha1데이터 플레인 프로비저닝 (이미지, 복제본, HPA 등)
Secretcore/v1TLS 인증서 및 백엔드 API 키