メインコンテンツまでスキップ

AIゲートウェイとは何ですか？

AI Gatewayは、AIゲートウェイのフルライフサイクルと、それを通過するAIトラフィック（LLMプロバイダーコール、モデルコンテキストプロトコル（MCP）交換、AIエージェントワークフローを含む）を管理するために設計された統合プラットフォームです。これは、複数のクラスターやプロジェクトにわたってゲートウェイを作成、変更、保護、展開、監視するための中央集権的なツールセットを提供します。AI機能が追加された一般的なAPIゲートウェイではなく、このプラットフォームはagentgatewayの上に構築されており、OpenAI互換のエンドポイント、MCPサーバー、およびエージェント間（A2A）通信をネイティブにサポートするAIファーストプロキシとして展開され、Rustデータプレーンによって制御されるGoコントロールプレーンによってオーケストレーションされています。

主要なコンポーネントと機能には以下が含まれます：

  • Gateway Lifecycle Management: リスナー（ホスト/ポート/プロトコル）、TLS終端、インフラストラクチャパラメータ（イメージ、CPU/メモリ、レプリカ、HPA、PDB、ロギング）およびリスナー露出モード（direct LoadBalancerまたはingress モード）に対する完全な制御を持って、エージェントゲートウェイインスタンスを作成、構成、バージョン管理、展開します。複数のKubernetesクラスターにわたって。
  • Multi-Backend Support: 単一のAgentgatewayBackendリソースを通じて複数のバックエンドタイプを管理します：ai （OpenAI、Anthropic、Bedrock、Azure OpenAI、Gemini、Vertex AIなどのLLMプロバイダー）、mcp （SSE/StreamableHTTP経由のモデルコンテキストプロトコルサーバー）、static （RESTエンドポイントおよびK8sサービス）、およびdynamicForwardProxy（ランタイムでHostヘッダーから解決された宛先）。
  • Project-Based Isolation: 各プロジェクトは、独自のゲートウェイ、バックエンド、ルート、ポリシー、およびシークレットを持つ独立した単位として機能し、中央集権的な領域の下にスコープされています。クラスター、ネームスペース、およびプロジェクトコンテキストはAPI層で強制され、安全なマルチテナント操作を可能にし、プラットフォーム管理者のためにプロジェクト間の可視性を保持します。
  • AI Policy Management: 認証（JWT、APIキー、CELベースの認可）、レート制限、プロンプトガーディング（リクエストおよびレスポンスの検査）、レスポンスキャッシング、変換、リトライ、タイムアウト、ヘッダーの変更、およびAI特有のガードレールのための中央集権的なポリシーを適用します — すべては統一された AgentgatewayPolicy CRDを介してゲートウェイ、HTTPRoute、またはバックエンドレベルでアタッチ可能です。
  • AI Provider Failover & Load Balancing: backend.ai内でのマルチプロバイダーのルーティングを、priority + weight グループを使用して自動フェイルオーバー（例：OpenAIプライマリ → Anthropicフォールバック）および同じ優先度層内での重み付け負荷分散のために構成します。モデル名ベースのルーティングをサポートし、ゲートウェイがリクエストボディ内のmodel フィールドを検査し、一致するバックエンドにディスパッチします — これにより、単一のOpenAI互換エンドポイントが多くのプロバイダーに透過的にサービスを提供できるようになります。
  • Topology Visualization: ゲートウェイ ↔ HTTPRoute ↔ バックエンド ↔ ポリシーの関係を示す自動レンダリングされたインタラクティブグラフ（Vue Flow + Dagre）で、クリック可能な詳細パネルを持ち、オペレーターがリクエストがエンドツーエンドでどのように流れるかを追跡し、構成変更の影響を理解するのに役立ちます。
  • Logging and Monitoring: リクエストごとの監査イベント（APIごとの/eventsエンドポイント）を検査し、プロジェクトごと/モデルごとの使用状況を追跡し、組み込みのモニタリングダッシュボードを通じてレイテンシーとエラーメトリクスを表示します — これにより、オペレーターは構成プレーン（誰が何を変更したか）とランタイムプレーン（どのトラフィックがどこに流れているか）の両方を可視化できます。

AIゲートウェイの目的

企業がAI駆動のサービスをますます採用する中で、AIトラフィックの量と複雑さは劇的に増加しています。リクエストは現在、複数のAIパターン—LLMプロバイダー呼び出し、MCP交換、エージェントワークフロー—にまたがり、多くのKubernetesクラスターやプロジェクトで実行されています。これにより、重要な運用、セキュリティ、ガバナンスの課題が生じています：

  • チームは、クラスター全体で一貫した構成（リスナー、TLS、スケーリング、ロギング、デプロイ設定）を持つゲートウェイを管理しなければならず、これは標準化が難しく、チームや環境ごとに行うとエラーが発生しやすくなります。
  • バックエンドの種類とプロバイダー（OpenAI互換のLLM、MCPサーバー、内部RESTサービス、動的フォワードプロキシの宛先）の増加により、ルーティングとエンドポイント管理がますます断片化しています。
  • プロジェクト間でのマルチテナント運用には、強力な分離（プロジェクトごとの別々のゲートウェイ、ルート、ポリシー、シークレット）が必要ですが、プラットフォーム管理者がプロジェクト間の可視性と制御を維持できるようにする必要があります。
  • 中央集権的なポリシー管理がないと、認証（JWT/APIキー/CEL認可）、レート制限、プロンプトガード、キャッシング、変換、リトライ、タイムアウトなどの制御が一貫して実装されず、セキュリティのギャップや予測不可能なサービスの動作が生じます。
  • プロバイダーの信頼性とコスト管理は、使用量が増えるにつれて難しくなります。企業は、単一のOpenAI互換エンドポイントの背後でのモデルベースのルーティングを含む、複数のAIプロバイダー間での組み込みのフェイルオーバーと重み付けされた負荷分散を必要としています。
  • 統一された可観測性の欠如—リクエスト監査イベント、プロジェクト/モデルごとの使用状況、レイテンシ/エラーメトリクス—およびトポロジーの可視性の低さは、トラフィックフローをエンドツーエンドで理解し、変更の影響を評価し、迅速にトラブルシューティングすることを困難にします。 これらの課題は、AIトラフィックが企業全体でどのように保護され、ルーティングされ、管理され、観察されるかを標準化する統一されたAIネイティブゲートウェイプラットフォームの必要性を浮き彫りにしています。AI Gatewayは、エージェントゲートウェイの展開に対する中央集権的なライフサイクル管理、一貫したポリシーの適用を複数の接続ポイント（ゲートウェイ/ルート/バックエンド）で提供し、フェイルオーバーを伴う柔軟なマルチバックエンドルーティング、明確なトポロジーと監視を提供することで、チームが迅速に動きながら企業のセキュリティおよび運用基準を遵守できるようにします。

主な利点

AI Gatewayシステムは、AIサービスの信頼性と運用効率の両方を向上させます。その主な利点は次のとおりです：

  • Unified AI Traffic Management: すべてのAIトラフィックを単一のプラットフォームでエンドツーエンド管理し、ルーティング、認証、ポリシーの適用を簡素化します。
  • Scalability & Flexibility: マルチクラスターおよびマルチプロジェクト環境をサポートし、サービスの分離、チームの自律性、内部および外部のAIサービスプロバイダーとのシームレスな統合を可能にします。
  • Centralized Policy Governance: 企業全体でポリシーを一貫して適用し、誤設定のリスクを減少させ、企業全体でのコンプライアンスを確保します。
  • Enhanced Security:証明書とAPIキーのライフサイクルを管理し、手動エラーとセキュリティリスクを最小限に抑えます。
  • Operational Efficiency:可視化、再利用可能なテンプレート、および一括管理ツールを提供し、オーバーヘッドを削減し、トラブルシューティングを加速します。
  • Consistent Observability: すべてのコンポーネントの視覚的トポロジー、トラフィックフロー、およびステータスを提供し、迅速なトラブルシューティングと運用の透明性を実現します。 要するに、AIゲートウェイシステムは、組織がAIトラフィックを安全かつ効率的、透明に管理できるようにし、現代のAI駆動型企業における革新とコンプライアンスの両方をサポートします。