컨트롤 플레인
- Model Registry: 모델 메타/버전 관리, Hugging Face → Gitea 마이그레이션, 사내 모델 Git 업로드
- Model Deploy/Orchestrator: 배포 워크플로우, 대상 클러스터 선택, InferenceService(ISVC) 스펙 생성
- AI Gateway: API 진입점, 인증/인가, 라우팅
- Playground: 배포 모델 실사용 검증 UI
- MCM Service: 멀티클러스터 리소스 조회/관리(각 클러스터의 K8s 리소스 상태 수집, 배포 지시)
데이터 플레인 (각 K8s 클러스터)
- KServe (Agent/Controller): InferenceService(ISVC) 스펙을 수신하여 실제 Pod/Container 생성
- Model Artifact Puller: Gitea에서 모델 받아 PVC에 적재/재사용
- Serving Runtime (e.g., vLLM): 런타임 컨테이너로 모델 로딩/추론 제공
- Health/Log/Metric Endpoints: 상태(Ready/NotReady), 로그 스트리밍, 리소스 사용량 등 노출