본문으로 건너뛰기

Overview - NPU Platform

Overview​

NPU 대시보드는 시스템 관리자가 컴퓨팅 인프라에서 신경 처리 장치(NPU) 리소스를 모니터링하고 관리하기 위한 주요 페이지입니다. 이 대시보드는 카드, 차트 및 표를 사용하여 NPU 할당, 활용도 및 프로젝트별 소비에 대한 실시간 시각화를 제공합니다. 이 대시보드는 GPU 대시보드를 보완하여 두 개의 컴퓨팅 가속기에서 통합된 리소스 모니터링을 제공합니다.

NPU 대시보드에 접근하기​

NPU 대시보드를 여는 빠른 단계:

  • 상단 바에서 GPU을 클릭합니다.
  • 탭 Overview, 에서 오른쪽 상단 모서리에 있는 Platform을 클릭합니다.
  • 그런 다음 NPU.을 클릭합니다.

1. Total NPUs Card​

  • Purpose: 시스템에 등록된 NPU 리소스의 총 수와 운영 상태를 표시합니다.
  • Displayed information:
    • 총 NPUs: 모든 클러스터에 걸쳐 있는 NPU 가속기의 총 수입니다.
    • 상태별 NPU 수: 운영 상태인 준비 완료, 실패의 세분화입니다.
  • Action: Total NPU 레이블을 클릭하면 리소스 인벤토리 및 풀 관리를 위한 GPU Pools Management 페이지로 이동합니다.
  • Status Definitions:
    • Ready: NPU가 작동 중이며 작업 할당을 위해 사용 가능합니다.
    • Failed: NPU에 결함이 감지되었으며 조사가 필요합니다.

2. 카드 활용도​

  • Purpose: 할당 상태에 따라 세분화된 인프라 전반의 실시간 NPU 활용도(%)를 표시합니다.
  • Displayed information:
    • 활용도: 현재 활성 사용 중인 총 NPU 용량의 비율입니다. 활용도 = (사용 중 / 총 NPUs) × 100%.
    • 사용 가능: 새로운 작업 부하 할당을 위해 준비된 NPU의 수입니다.
    • 사용 중: 현재 작업을 실행 중인 NPU의 수입니다.
  • Action: 클릭하면 Utilization 레이블이 GPU Capacity Management 페이지로 이동하여 사용 추세 및 예측에 대한 심층 분석을 제공합니다.

Note: NPU 작업 부하 패턴은 추론과 훈련 모델 분할로 인해 GPU와 종종 다릅니다. 정확한 용량 계획을 위해 별도로 모니터링하십시오.

3. 사용 분석 차트​

3.1 클러스터 사용 차트​

  • Purpose: 도넛 차트를 사용하여 클러스터 전반에 걸친 NPU 리소스 할당 및 활용도를 시각화하여 클러스터 수준의 리소스 분포에 대한 즉각적인 통찰력을 제공합니다.
  • Display information:
    • Total: 선택한 클러스터의 총 NPU 수.
    • Used: 작업 부하를 적극적으로 실행하는 NPU.
    • Allocated: 풀에 할당되었지만 아직 사용되지 않는 NPU.
    • Available: 할당되지 않았고 새로운 풀 생성을 위해 사용 가능한 NPU.
  • Cluster Filter: 특정 클러스터에 대한 통계를 보기 위한 드롭다운 선택기.
  • Use cases:
    • 서로 다른 클러스터 간의 할당 대 활용 비교.
    • 새로운 작업 부하를 지시하기 위해 높은 가용성을 가진 클러스터 식별.
    • 할당 불균형이 있는 클러스터 발견 (높은 할당, 낮은 활용).
    • 용량 계획 및 작업 부하 분배 결정을 지원합니다.
  • Interpretation logic:
    • Used: 작업 부하를 적극적으로 처리하는 NPU (런타임 메트릭에서).
    • Allocated: 풀에 할당되었지만 유휴 상태인 NPU (풀 할당과 활성 사용의 차이).
    • Available: 아직 할당되지 않음 (총 - 할당 - 사용).
    • 차트 조각 크기는 실제 리소스 수를 반영하며, 비율이 아닙니다.

NPU-specific considerations: GPU와 달리 NPU는 일반적으로 가변 배치 크기로 추론 작업 부하를 실행합니다. 사용/할당 비율을 모니터링하여 활용도가 낮은 풀이나 작업 부하 통합 기회를 식별하십시오.

  • Actions: 도넛 차트의 색상 세그먼트 위에 마우스를 올리면, 툴팁에 아래와 같은 정보가 표시됩니다:
    • Segment Name (예: "사용됨", "할당됨", "사용 가능")
    • Count 상태의 NPU 수 - 그리고 percentage
    • Hardware Spec (예: "RBLN-CA25")
    • Total number of NPUs 해당 상태의 NPU 수와 percentage 총 클러스터 용량
정보

차트 영역을 클릭하여 다중 링 도넛 차트와 단순 도넛 차트 보기 모드 간에 전환할 수도 있습니다.

3.2 Usage by Project Chart​

  • Purpose: 프로젝트 간 NPU 소비를 시각화하여 어떤 팀이 가장 많은 자원을 소비하는지 보여줍니다.
  • Display information:
    • 활성 사용 중인 개별 NPU 수가 표시된 상위 5개 프로젝트.
    • 나머지 프로젝트는 Other 카테고리로 그룹화됩니다.
    • 총: 모든 프로젝트의 집계된 NPU 수.
  • Use cases:
    • 어떤 프로젝트가 자원 소비를 지배하는지 모니터링합니다.
    • 자원 집중과 잠재적 비용 요인을 식별합니다.
    • 시간에 따른 프로젝트별 수요 추세를 추적합니다.
    • 청구 및 비용 분석을 지원합니다.
  • Interpretation logic: 슬라이스 크기는 프로젝트당 사용 중인 NPU 수에 비례합니다.

Other 카테고리는 차트에서 확장할 수 없습니다. NPU Pools 페이지 또는 Pending Requests 테이블을 사용하여 프로젝트별 세부 내역을 확인하세요.

  • Actions:
    • 각 프로젝트 행을 클릭하여 도넛 차트에서 숨기거나 표시합니다.
    • 각 색상 세그먼트 위에 마우스를 올려 프로젝트 이름과 활성 사용 중인 NPU 수를 확인합니다.

3.3 Usage by NPU 유형 차트​

  • Purpose: NPU 하드웨어 사양(모델, 세대 등)에 따른 자원 활용도를 설명하여 하드웨어 수준의 소비 추적을 가능하게 합니다.
  • Display information:
    • 활성 사용량이 표시된 상위 5개 NPU 유형을 개별적으로 보여줍니다.
    • 나머지 유형은 Other 아래에 그룹화됩니다.
    • 총계: 모든 유형의 NPU 수를 집계합니다.
  • Use cases:
    • 가장 많이 사용되는 NPU 모델을 식별합니다.
    • 하드웨어 특정 병목 현상 또는 포화 상태를 감지합니다.
    • 조달 및 업그레이드 결정을 알리기 위해 트렌드를 분석합니다.
    • 작업 부하와 하드웨어의 매칭을 통해 성능 최적화를 지원합니다.
  • Interpretation logic: 하드웨어 유형별 활성 NPU 수에 비례하여 슬라이스 크기를 조정합니다.
  • Actions: 각 색상 세그먼트 위에 마우스를 올리면 해당 유형의 이름과 활성 NPU 총 수를 보여주는 툴팁이 표시됩니다.

4. 상위 5개 NPU 풀 테이블​

  • Purpose: 주요 NPU 자원 풀에 대한 실시간 개요를 제공하여 할당 상태, 활용도 및 프로젝트 할당을 강조하여 효과적인 자원 관리 지원합니다.
  • Display information:
    • Pool Name: NPU 풀의 고유 식별자, 풀의 세부 페이지로 연결되는 클릭 가능한 링크입니다.
    • Project: 할당된 프로젝트 이름; 프로젝트가 할당되지 않은 경우 Unassigned이 표시됩니다.
    • Type: NPU 하드웨어 사양 및 수량(예: "RBLN-CA25 ×32", "RBLN-CA50 ×16")
    • Usage: 사용된/총 용량을 보여줍니다(예: "0/32", "16/32"), 진행률 표시줄로 시각화됩니다.
    • Status: 운영 및 할당 상태입니다.
      • Assigned (노란색) — 풀은 프로젝트에 소속되어 있습니다.
      • Unassigned (녹색) — 프로젝트 소유자가 없으며 할당 가능.
  • Supporting Behaviors:
    • Sorting: 열 헤더를 클릭하여 풀 이름 또는 사용 비율로 정렬합니다.
    • View All: NPU 풀 인벤토리 및 관리 인터페이스에 접근합니다.
    • Progress Bar Colors:
  • 녹색: 낮은 사용량 (<33% 용량 사용됨).
  • 노란색: 중간 사용량 (33–66% 용량 사용됨).
  • 빨간색: 높은 사용량 (>66% 용량 사용됨).
  • Use cases:
    • 주요 풀의 운영 상태 및 활용도를 신속하게 검토합니다.
    • 새로운 프로젝트 할당을 위해 사용되지 않는 풀을 식별합니다.
    • 작업 부하 재조정이 필요할 수 있는 과도하게 사용된 풀을 찾아냅니다.
    • 풀의 상태를 모니터링하고 필요시 유지보수 시간을 계획합니다.