Inference Service List

Inference Service List 화면은 시스템 관리자가 시스템 내 모든 Inference Service를 조회하고 필터링하고 관리할 수 있도록 합니다.

Inference Service List 화면 접근

시스템 관리자 제어 패널의 메인 내비게이션에서 Model 를 클릭합니다. 그런 다음, 왼쪽 내비게이션에서 Inference Service List를 선택합니다.

배포된 모델 검색

검색 기능을 사용하여 특정 모델을 빠르게 찾을 수 있습니다. 검색은 아래의 필터를 기반으로 수행할 수 있습니다:

• Name:  배포명으로 필터링합니다.
• Status: 모델의 상태로 필터링합니다. (예: Running, Not Ready, Stopped)
• Namespace: 네임스페이스로 필터링합니다.
• Cluster: 클러스터로 필터링합니다.

사용자가 조건을 선택하거나 값을 입력하면 시스템이 실시간으로 모델 리스트를 자동 갱신합니다.

배포된 모델 목록 조회

사용자는 다음 정보를 포함하는 배포된 모델 목록을 조회할 수 있습니다:

• Deployment name
• Cluster: 클러스터 이름
• Namespace: 배포를 위한 네임스페이스
• Deployed model: 배포된 모델
  • Orange: 프로젝트 이름
  • Blue: 모델의 버전 (태그)
• Framework: 서빙 프레임워크
• Status: 모델의 상태 (예: Running, Not Ready, Stopped, Unknown)
• Resources:
  • 파랑색: CPU 정보
  • 보라색: RAM 정보
  • 녹색/ 주황색/ 아웃라인: GPU 리소스 프로파일 이름
    • 녹색: 전체 GPU
    • 주황색: MIG
    • 아웃라인: GPU 없음
  • 연한 청록색: GPU 리소스 프로파일 수
  • 회색: 풀 이름
• Endpoint: 모델 URL
• Created at: 배포 생성 날짜 및 시간

작업 메뉴

시작

• 모델의 상태가 "Stopped"일 때만 표시됩니다.
• 사용자가 모델을 초기화하고 실행하는 프로세스를 트리거할 수 있습니다.

플레이그라운드

사용자가 배포된 모델을 실시간으로 테스트하고 성능을 검증할 수 있습니다.

중지

• 모델의 상태가 "Not ready" 또는 "Running"일 때만 표시됩니다.
• 사용자가 실행 중인 모델을 중지할 수 있습니다.

세부정보

클릭 시 사용자가 배포 세부정보 화면으로 이동합니다.

수정

클릭 시 사용자가 배포 세부정보 화면으로 이동합니다.