Chuyển tới nội dung chính

Cổng AI là gì?

Cổng AI AI Gateway là một nền tảng tích hợp được thiết kế để quản lý toàn bộ vòng đời của các Cổng AI và lưu lượng AI chảy qua chúng — bao gồm các cuộc gọi nhà cung cấp LLM, các trao đổi Giao thức Ngữ cảnh Mô hình (MCP), và các quy trình làm việc của tác nhân AI — trong các môi trường Kubernetes doanh nghiệp. Nó cung cấp một bộ công cụ tập trung để tạo, sửa đổi, bảo mật, triển khai và giám sát các cổng trên nhiều cụm và dự án khác nhau. Thay vì là một cổng API chung với các tính năng AI được gắn thêm, nền tảng này được xây dựng trên agentgateway — một proxy ưu tiên AI với hỗ trợ gốc cho các điểm cuối tương thích với OpenAI, các máy chủ MCP, và giao tiếp giữa các tác nhân (A2A), được triển khai như một mặt phẳng dữ liệu Rust được điều phối bởi một mặt phẳng điều khiển Go.

Các thành phần và khả năng chính bao gồm:

  • Gateway Lifecycle Management: Tạo, cấu hình, phiên bản và triển khai các phiên bản cổng tác nhân với quyền kiểm soát hoàn toàn đối với các trình nghe (host / port / protocol), kết thúc TLS, các tham số hạ tầng (hình ảnh, CPU / bộ nhớ, bản sao, HPA, PDB, ghi log), và các chế độ hiển thị trình nghe (direct LoadBalancer hoặc ingress mode) trên nhiều cụm Kubernetes.
  • Multi-Backend Support: Quản lý nhiều loại backend thông qua một tài nguyên AgentgatewayBackend duy nhất: ai (các nhà cung cấp LLM như OpenAI, Anthropic, Bedrock, Azure OpenAI, Gemini, Vertex AI), mcp (các máy chủ Giao thức Ngữ cảnh Mô hình qua SSE / StreamableHTTP), static (các điểm cuối REST và Dịch vụ K8s), và dynamicForwardProxy (điểm đến được giải quyết từ tiêu đề Host tại thời gian chạy).
  • Project-Based Isolation: Mỗi dự án hoạt động như một đơn vị độc lập với các cổng, backend, tuyến đường, chính sách và bí mật riêng, được quản lý trong một lĩnh vực trung tâm. Cụm, không gian tên và ngữ cảnh dự án được thực thi ở lớp API, cho phép hoạt động đa người dùng an toàn trong khi vẫn giữ được khả năng hiển thị giữa các dự án cho các quản trị viên nền tảng.
  • AI Policy Management: Áp dụng các chính sách tập trung cho xác thực (JWT, API Key, ủy quyền dựa trên CEL), giới hạn tỷ lệ, bảo vệ yêu cầu (kiểm tra yêu cầu và phản hồi), lưu trữ phản hồi, biến đổi, thử lại, thời gian chờ, sửa đổi tiêu đề và các rào cản cụ thể cho AI — tất cả đều có thể gắn vào cấp độ Gateway, HTTPRoute hoặc Backend thông qua một CRD AgentgatewayPolicy thống nhất.
  • AI Provider Failover & Load Balancing: Cấu hình định tuyến đa nhà cung cấp bên trong backend.ai sử dụng các nhóm priority + weight cho việc chuyển đổi tự động (ví dụ: OpenAI chính → Anthropic dự phòng) và cân bằng tải có trọng số trong cùng một cấp độ ưu tiên. Hỗ trợ định tuyến dựa trên tên mô hình, nơi cổng kiểm tra trường model trong thân yêu cầu và chuyển tiếp đến backend phù hợp — cho phép một điểm cuối tương thích với OpenAI phục vụ nhiều nhà cung cấp một cách minh bạch.
  • Topology Visualization: Một đồ thị tương tác tự động được tạo ra (Vue Flow + Dagre) hiển thị mối quan hệ giữa Gateway ↔ HTTPRoute ↔ Backend ↔ Policy với các bảng chi tiết có thể nhấp, giúp các nhà điều hành theo dõi cách một yêu cầu chảy từ đầu đến cuối và hiểu tác động của bất kỳ thay đổi cấu hình nào.
  • Logging and Monitoring: Kiểm tra các sự kiện kiểm toán theo yêu cầu (/events điểm cuối cho mỗi API), theo dõi mức sử dụng theo dự án / theo mô hình, và hiển thị các chỉ số độ trễ và lỗi thông qua các bảng điều khiển giám sát tích hợp — cung cấp cho các nhà điều hành khả năng hiển thị vào cả mặt phẳng cấu hình (ai đã thay đổi cái gì) và mặt phẳng thời gian chạy (lưu lượng đang chảy ở đâu).

Mục Đích của AI Gateway

Khi các doanh nghiệp ngày càng áp dụng các dịch vụ dựa trên AI, khối lượng và độ phức tạp của lưu lượng AI đã tăng lên đáng kể. Các yêu cầu hiện nay trải dài qua nhiều mẫu AI—gọi nhà cung cấp LLM, trao đổi MCP và quy trình làm việc của tác nhân—và chạy trên nhiều cụm Kubernetes và dự án. Điều này tạo ra những thách thức đáng kể về vận hành, bảo mật và quản trị:

  • Các nhóm phải quản lý các cổng qua các cụm với cấu hình nhất quán (nghe, TLS, mở rộng, ghi log, cài đặt triển khai), điều này rất khó để tiêu chuẩn hóa và dễ mắc lỗi khi thực hiện theo từng nhóm hoặc từng môi trường.
  • Số lượng loại backend và nhà cung cấp ngày càng tăng (LLM tương thích với OpenAI, máy chủ MCP, dịch vụ REST nội bộ, điểm đến proxy chuyển tiếp động) làm cho việc định tuyến và quản lý điểm cuối ngày càng phân mảnh.
  • Hoạt động đa thuê bao qua các dự án yêu cầu sự cách ly mạnh mẽ (cổng, tuyến đường, chính sách và bí mật riêng cho từng dự án) trong khi vẫn cho phép các quản trị viên nền tảng duy trì khả năng nhìn thấy và kiểm soát giữa các dự án.
  • Nếu không có quản lý chính sách tập trung, các kiểm soát như xác thực (JWT/khóa API/xác thực CEL), giới hạn tỷ lệ, bảo vệ prompt, bộ nhớ đệm, biến đổi, thử lại và thời gian chờ được thực hiện không nhất quán, dẫn đến những khoảng trống trong bảo mật và hành vi dịch vụ không thể đoán trước.
  • Độ tin cậy của nhà cung cấp và quản lý chi phí trở nên khó khăn hơn khi mức sử dụng tăng; các doanh nghiệp cần có khả năng chuyển đổi dự phòng tích hợp và cân bằng tải có trọng số giữa nhiều nhà cung cấp AI, bao gồm định tuyến dựa trên mô hình phía sau một điểm cuối tương thích với OpenAI duy nhất.
  • Thiếu khả năng quan sát thống nhất—các sự kiện kiểm toán yêu cầu, mức sử dụng theo dự án/mô hình, độ trễ/thống kê lỗi—và khả năng nhìn thấy topo kém làm cho việc hiểu lưu lượng truy cập từ đầu đến cuối, đánh giá tác động của các thay đổi và khắc phục sự cố nhanh chóng trở nên khó khăn. Những thách thức này làm nổi bật nhu cầu về một nền tảng cổng thống nhất, gốc AI, chuẩn hóa cách mà lưu lượng AI được bảo mật, định tuyến, quản lý và quan sát trong toàn doanh nghiệp. AI Gateway giải quyết điều này bằng cách cung cấp quản lý vòng đời tập trung cho các triển khai agentgateway, thực thi chính sách nhất quán tại nhiều điểm gắn kết (Cổng/Đường/Backend), định tuyến đa backend linh hoạt với khả năng chuyển đổi dự phòng, và cấu trúc rõ ràng cùng với giám sát—cho phép các nhóm di chuyển nhanh trong khi vẫn tuân thủ các tiêu chuẩn an ninh và vận hành của doanh nghiệp.

Lợi ích chính

Hệ thống AI Gateway nâng cao cả độ tin cậy của các dịch vụ AI và hiệu quả vận hành. Các lợi ích chính của nó bao gồm:

  • Unified AI Traffic Management: Cung cấp quản lý toàn diện cho tất cả lưu lượng AI thông qua một nền tảng duy nhất, đơn giản hóa việc định tuyến, xác thực và thực thi chính sách.
  • Scalability & Flexibility: Hỗ trợ môi trường đa cụm và đa dự án, cho phép cách ly dịch vụ, tự chủ của nhóm và tích hợp liền mạch với cả nhà cung cấp dịch vụ AI nội bộ và bên ngoài.
  • Centralized Policy Governance: Thực thi chính sách một cách nhất quán trong toàn doanh nghiệp, giảm thiểu rủi ro cấu hình sai và đảm bảo tuân thủ trong toàn doanh nghiệp.
  • Enhanced Security:Quản lý vòng đời chứng chỉ và khóa API để giảm thiểu lỗi thủ công và rủi ro an ninh.
  • Operational Efficiency:Cung cấp hình ảnh hóa, mẫu tái sử dụng và công cụ quản lý hàng loạt để giảm thiểu chi phí và tăng tốc độ xử lý sự cố.
  • Consistent Observability: Cung cấp cấu trúc hình ảnh, lưu lượng và trạng thái của tất cả các thành phần, cho phép xử lý sự cố nhanh chóng và minh bạch trong vận hành. Tóm lại, hệ thống AI Gateway giúp các tổ chức quản lý lưu lượng AI một cách an toàn, hiệu quả và minh bạch, hỗ trợ cả đổi mới và tuân thủ trong một doanh nghiệp hiện đại dựa trên AI.