Chuyển tới nội dung chính

Cổng AI cung cấp một bộ tính năng chính tập trung để hỗ trợ các hoạt động cổng, kiểm soát lưu lượng và khả năng quan sát dịch vụ.

Quản lý Cổng

Cổng​

Definition: Quản lý các tài nguyên Cổng Kubernetes phục vụ như là điểm vào của Cổng AI.

Key Functions:
  • Xem và quản lý các Cổng được triển khai trên các cụm và không gian tên khác nhau.
  • Cấu hình các cài đặt liên quan đến Listener, TLS và định tuyến; xem chi tiết Cổng để thực hiện/khắc phục sự cố.

Cấu hình Cổng​

Definition: Quản lý các mẫu cho các cài đặt chung áp dụng cho các phiên bản Cổng, bao gồm các tài nguyên chia sẻ, số lượng bản sao và thẻ. Nhiều Cổng có thể tham chiếu cùng một Cấu hình để thực thi các chính sách tài nguyên và hoạt động nhất quán.

Key Functions:
  • Tạo và quản lý các mẫu cấu hình Cổng có thể tái sử dụng.
  • Định nghĩa các chính sách tài nguyên chung (tài nguyên), bản sao và tiêu chuẩn gán thẻ.
  • Áp dụng các cài đặt nhất quán trên nhiều Cổng bằng cách tham chiếu cùng một Cấu hình.

Bí mật TLS (Chứng chỉ)​

Definition: Quản lý các tài nguyên Bí mật Kubernetes và hỗ trợ đăng ký, xoay vòng và xóa các cặp chứng chỉ/khóa riêng được sử dụng bởi các Listener Cổng cho các điểm cuối HTTPS.

Key Functions:
  • Tạo và quản lý các Bí mật TLS.
  • Xóa các tài liệu TLS không sử dụng/hết hạn và xem chi tiết Bí mật TLS để thực hiện.

Lưu lượng

Backend​

Definition: Quản lý các mục tiêu định tuyến cho các API, bao gồm các nhà cung cấp LLM bên ngoài (ví dụ: OpenAI, Anthropic) và các mô hình/dịch vụ REST trong cụm.

Key Functions:
  • Đăng ký các backend và quản lý cài đặt kết nối backend và các điểm cuối.
  • Xem chi tiết backend để xác thực các mục tiêu định tuyến và khắc phục sự cố.

API​

Definition: Định nghĩa các quy tắc định tuyến lưu lượng (HTTPRoute/API) trên Gateway bằng cách kết hợp hostname, tiền tố đường dẫn, các điều kiện khớp, backend, các bộ lọc, và các chính sách vào một đơn vị phơi bày Gateway duy nhất.

Key Functions:
  • Tạo API và quản lý cấu hình API.
  • Xem xét chi tiết API để kiểm soát hoạt động.

Chính Sách Lưu Lượng​

Definition: Quản lý các chính sách lưu lượng áp dụng cho Gateways và Route như xác thực, giới hạn tỷ lệ, biến đổi tiêu đề, và các bảo vệ AI, theo mô hình đính kèm chính sách của Kubernetes Gateway API.

Key Functions:
  • Tạo và quản lý các chính sách lưu lượng tái sử dụng cho Gateways.
  • Kiểm tra các ràng buộc chính sách và hành vi hiệu quả cho các hoạt động và khắc phục sự cố.

Khóa API​

Definition: Quản lý tài nguyên Kubernetes Secret, chủ yếu được sử dụng để lưu trữ khóa API cho các nhà cung cấp LLM công cộng và thông tin xác thực cho xác thực người dùng.

Key Functions:
  • Tạo và quản lý các tài nguyên Kubernetes Secret.
  • Xem siêu dữ liệu và tham chiếu cho các hoạt động/khắc phục sự cố.

Khả Năng Quan Sát

Địa Hình​

Definition: Hình dung đồ thị mối quan hệ giữa Gateways, APIs, Backends, Policies, và Secrets để xem lưu lượng, các đính kèm chính sách, và các ánh xạ backend một cách nhanh chóng.

Key Functions:
  • Hình dung mối quan hệ giữa các thành phần và luồng cấp cao
  • Hỗ trợ hiểu biết hoạt động và khắc phục sự cố