본문으로 건너뛰기

Key Feature

모델 관리에서는 다음의 네 가지 핵심 기능을 제공합니다:

  • Model Registry: 모델 등록 및 관리
  • Model Serving: 모델 배포 및 사빙
  • Playground: 모델 테스트 및 검증
  • Monitoring & Management: 모델 운영 모니터링 :::팁

팁: 처음 사용자라면 Model Registry → Model Serving → Playground 순서로 학습하는 것을 추천합니다. :::

모델 레지스트리​

AI/ML 모델을 중앙화된 저장소에 안전하게 보관하고 버전 관리합니다

주요 기능​

  • 모델 저장: Hugging Face 모델 가져오기, 자체 개발 모델 등록
  • 버전 관리: Git 기반 버전 관리 및 태그 지정
  • 메타데이터 관리: 모델 설명, 프레임워크, Task 타입 등 정보 관리
  • 접근 제어: Private/Public 설정으로 공유 범위 제어
  • 모델 검색: 프로젝트별, 태그별 모델 검색 및 필터링

사용 시나리오​

  • Hugging Face Hub의 사전 학습 모델 가져오기
  • 자체 개발한 모델 업로드 및 버전 관리
  • 팀 간 모델 공유 및 재사용

모델 서빙​

등록된 모델을 Kubernetes 클러스터에 배포하여 실제 서비스로 제공합니다.

주요 기능​

  • 원클릭 배포: 간단한 설정으로 프로덕션 환경에 배포
  • 리소스 관리: CPU, 메모리, GPU 리소스 최적화
  • 멀티 클러스터: 여러 클러스터에 분산 배포
  • 엔드포인트 제공: REST API 기반 추론 서비스

사용 시나리오​

  • 개발 완료된 모델을 스테이징/프로덕션 환경에 배포
  • GPU 리소스를 활용한 고성능 모델 서빙

플레이그라운드​

배포된 모델을 코드 작성 없이 브라우저에서 바로 테스트할 수 있는 대화형 환경입니다.

주요 기능​

  • 대화형 테스트: 웹 UI에서 모델과 실시간 상호작용
  • 파라미터 조정: Temperature, Max Tokens 등 즉시 변경
  • 성능 검증: 응답 시간, 토큰 사용량 등 지표 확인
  • 다양한 모델 타입 지원:
    • Chat (GPT, LLaMA 등)
    • Text Completion
    • Embedding
    • Image Generation
    • Audio (TTS, STT, Translation)

사용 시나리오​

  • 배포 전 모델 성능 사전 검증
  • 다양한 입력값에 대한 응답 테스트
  • 최적의 추론 파라미터 탐색

모니터링 및 관리​

배포된 모델을 코드 작성 없이 브라우저에서 바로 테스트할 수 있는 대화형 환경입니다.

주요 기능​

  • 실시간 모니터링: Pod/Container 상태, 리소스 사용량
  • 로그 관리: 실시간 로그 스트리밍 및 검색
  • 배포 제어: Start / Pause / Stop / Delete 등 제어 기능

사용 시나리오​

  • 프로덕션 모델의 상태 및 성능 모니터링
  • 장애 발생 시 로그 분석 및 문제 해결
  • 리소스 사용량 기반 운영 최적화