본문으로 건너뛰기

GPU Capacity Management

개요​

GPU 용량 관리는 GPUaaS 인프라 내 각 노드에 대한 GPU 리소스를 상세하게 관리하는 관리자 페이지입니다. 이 페이지에서 사용자는 노드당 설치된 물리적 GPU의 수량, 생성된 인스턴스의 수량, 할당 상태, 사용 가능 상태 및 클러스터에 연결된 각 GPU 노드의 준비 상태를 실시간으로 모니터링할 수 있습니다. 또한, 사용자는 개별 노드에 대한 구성 변경, 재프로비저닝 및 삭제 작업을 수행할 수 있습니다.

① 헤더 섹션 – 제목과 총 노드 수를 표시합니다.

② 클러스터 리소스 섹션 - 검색/필터, 정렬 기능과 GPU 리소스 목록을 제공합니다.

③ 노드 리소스 섹션 – 검색/필터, 정렬 기능과 노드 목록을 제공합니다.

클러스터 리소스 섹션​

이 기능은 사용자가 클러스터를 선택하여 해당 클러스터 내의 리소스를 조회할 수 있도록 합니다.

GPU 리소스 목록 보기​

사용자는 클러스터 내의 GPU 리소스 목록과 해당 리소스의 사용 상태를 다음 정보를 통해 확인할 수 있습니다:

  • Resource Type: GPU 리소스 유형
  • Total: 해당 유형의 프로파일 총 수
  • Pool Allocated: 풀에 할당된 프로파일 수
  • In Use: 현재 사용 중인 프로파일 수
  • Available: 사용 가능한 프로파일 수
  • Usage: 현재 사용 중인 프로파일의 비율

노드 리소스 섹션​

목록이 길 경우, 사용자는 테이블 섹션 위의 검색 바를 사용할 수 있습니다. 이 기능은 사용자가 노드 이름, IP, 제품 및 상태로 검색할 수 있도록 합니다.

GPU 리소스 보유하는 노드 목록 보기​

사용자는 현재 GPU 리소스를 보유하고 있는 노드 목록을 다음 정보와 함께 볼 수 있습니다:

  • Cluster: GPU 노드가 속한 클러스터의 이름입니다. (예: zcp-ai-cp-eks)
  • Node: GPU 노드의 호스트 이름 또는 IP 주소; 사용자는 노드의 이름을 클릭하여 노드의 세부 정보 페이지를 볼 수 있습니다.
  • Physical GPUs: 해당 노드의 물리적 GPU 수 (예: 8장).
  • Total Instances: 해당 노드에서 생성된 GPU 인스턴스의 총 수량 (Full 또는 MIG). (예: 20 MIG, 1 Full)
  • Allocated: 현재 프로젝트 또는 풀에 이미 할당된 GPU 인스턴스의 수.
  • Available: 현재 사용 가능한 (할당되지 않은) GPU 인스턴스의 수량. 0이면 모두 사용 중이거나 준비 중입니다.
  • Status: 노드 상태:
    • Ready: 정상 작동 중이며 할당 가능
    • Maintenance: 유지 보수 중이며 새로운 할당 제한
    • Provisioning: 프로비저닝 진행 중
    • Not Ready: 사용 불가능 상태

액션 메뉴​

사용자는 세 점 버튼을 클릭하여 다음과 같은 기능을 포함하는 작업 액션에 접근할 수 있습니다:

  • Config: GPU 노드의 MIG 프로필 및 구성 설정을 변경합니다.

  • Re-provision: 노드 오류에서 복구하거나 구성 변경을 적용하려는 경우 GPU 노드의 리소스를 재구성하고 프로비저닝합니다.

  • View details: 노드 용량 정보 및 GPU 구성 상태를 조회합니다.

  • Delete: 시스템에서 GPU 노드를 제거합니다 (관리자 권한 필요). :::경고

    • 재프로비저닝 중에는 노드를 사용할 수 없습니다. 진행 중인 작업에 영향을 미칠 수 있습니다.
    • 삭제는 되돌릴 수 없으며 노드의 모든 GPU 리소스를 제거합니다. :::