Architectures

Tổng quan

Hệ thống AI Gateway được thiết kế với kiến trúc hai mặt phẳng bao gồm Mặt phẳng Quản lý và Mặt phẳng Lưu lượng. Hai mặt phẳng này được tách biệt một cách có chủ ý và chỉ được kết nối thông qua các cơ chế cấu hình Kubernetes gốc, cho phép quản lý tập trung với việc thực thi đáng tin cậy trong thời gian thực.

Mặt phẳng Quản lý

Các nhà điều hành quản lý hệ thống thông qua Bảng điều khiển Quản lý, bao gồm các lĩnh vực chức năng sau:

• Gateway: vòng đời cổng và các thành phần liên quan
• Backend: định nghĩa và quản lý các điểm đến (LLMs, MCP, APIs)
• Route/API: quy tắc định tuyến, điểm cuối và ánh xạ API
• Policy: kiểm soát truy cập và chính sách quản lý nội dung
• Secret: quản lý thông tin xác thực và khóa
• Gateway Config: cài đặt cổng hoạt động
• Topology/Monitoring: khả năng hiển thị và các chế độ giám sát hệ thống

Tất cả các hành động UI được hiện thực hóa dưới dạng CRD Kubernetes. agentgateway liên tục theo dõi các CRD này và điều chỉnh hành vi trong thời gian thực cho phù hợp. Đây là điểm tích hợp duy nhất, được kiểm soát giữa quản lý và lưu lượng sản xuất.

Mặt phẳng Lưu lượng (Luồng Thời gian thực)

Các yêu cầu chảy từ trái sang phải:

Input Traffic (AI Clients)

Cổng chấp nhận các yêu cầu từ các khách hàng AI phổ biến như Claude Desktop, Cursor, GitHub Copilot, cũng như các ứng dụng/đại lý tùy chỉnh.

agentgateway (Rust Proxy)

Tất cả các yêu cầu đều đi qua agentgateway, nơi thực thi và tối ưu hóa lưu lượng trước khi chuyển tiếp:

• Xác thực / AuthZ
• Giới hạn Tốc độ
• Bảo vệ Đề xuất
• Định tuyến
• Lưu trữ
• Khả năng quan sát

Backends

Các yêu cầu đã được xử lý được chuyển tiếp đến một trong ba loại backend:

• Mô hình AI: OpenAI, Anthropic, Bedrock, Gemini, Vertex, v.v.
• MCP Servers: máy chủ công cụ/dữ liệu (ví dụ: GitHub, Slack, cơ sở dữ liệu, …)
• REST APIs: dịch vụ Kubernetes nội bộ hoặc điểm cuối HTTP bên ngoài

Tóm tắt Thành phần

Plane Quản lý (kho lưu trữ này)

Component	Technology	Role
Vue UI	Vue 3.4 + TypeScript 5.4 + Vite 5.3	Bảng điều khiển điều hành, độc lập hoặc MFE (ai-gateway) trên cổng 8230
Dịch vụ CORE	REST /core/v1	Hồ sơ, menu, dự án (cắt ngang)
Dịch vụ AI_GATEWAY	REST /ai-gateway/v1	CRUD cho tất cả CRDs, phạm vi miền + dự án

Plane Thời gian chạy (dự án upstream agentgateway)

Component	Technology	Role
Plane điều khiển	Go	gatewayReconciler (Helm render) + agentgatewaysyncer (XDS converter)
Plane dữ liệu	Rust	TLS, AuthN/Z, giới hạn tỷ lệ, bảo vệ nhắc nhở, định tuyến — tất cả trong một pod
Bộ phân phối backend (tích hợp sẵn)		4 loại — ai, mcp, static, dynamicForwardProxy

Tài nguyên Kubernetes

CRD	API Group	Purpose
Gateway	gateway.networking.k8s.io	Điểm vào với các trình nghe (host / port / TLS); GatewayClass = agentgateway
HTTPRoute	gateway.networking.k8s.io	Khớp yêu cầu → backendRef; hỗ trợ bộ lọc (viết lại / chuyển hướng / gương)
AgentgatewayBackend	agentgateway.dev/v1alpha1	Định nghĩa upstream (ai / mcp / static / dfp)
AgentgatewayPolicy	agentgateway.dev/v1alpha1	Chính sách frontend / lưu lượng / backend (bao gồm các chính sách phụ AI)
AgentgatewayParameters	agentgateway.dev/v1alpha1	Cung cấp plane dữ liệu (hình ảnh, bản sao, HPA, v.v.)
Secret	core/v1	Chứng chỉ TLS và khóa API backend