본문으로 건너뛰기

노드 뷰는 클러스터 내의 모든 GPU 노드를 표시하고 각 노드에 설치된 각 GPU의 물리적 레이아웃과 개별 상태를 자세히 보여줍니다. 이는 하드웨어 레벨 이슈를 진단하고, 동일 노드 내 GPU 간 성능 차이 또는 열 문제를 식별하는 데 필수적입니다.

노드 뷰 화면 접근

Cluster List에서 클러스터 카드를 클릭하면 해당 클러스터의 Node View로 이동합니다.

이 화면은 두 가지 보기 모드 (그리드 뷰 및 테이블 뷰)를 지원하여 사용자가 데이터를 다양한 방식으로 조회하고 관리할 수 있도록 합니다.

테이블 뷰

①~③ GPU 리소스 요약

④  GPU 및 MIG 인스턴스 메트릭

⑤ GPU 및 MIG 인스턴스의 세부 사양

GPU 리소스 요약​

리소스 요약​

  • 목적: 시스템 내 Node, GPU, MIG의 집계 통계 및 각 상태를 표시합니다.
  • 표시된 정보:
    • Node: 클러스터 내의 노드 수.
    • GPU: 클러스터 내의 GPU 수.
    • MIG: 클러스터 내의 MIG 인스턴스 수.
    • Error/Throttling/Caution: 오류 수, 스로틀링 이벤트 및 경고에 대한 통계.

프로파일 분포​

  • 목적: 클러스터 내 MIG 프로파일 스펙 및 Full GPU의 개수를 프로파일 스펙과 상 기준으로 분류하여 표시합니다.
  • 색상: 색상은 섹션 ④에서 선택한 메트릭에 따라 달라집니다.
  • 통계 카테고리: 1G, 2G, 3G, 4G, 7G, Full
  • 표시된 정보:
    • 중앙 값: 클러스터 내의 해당 프로파일 총 수.
    • 색상 마커: 각 상태에 해당하는 색상 및 해당 상태의 프로파일 수를 표시합니다.

프로필 상태 시각화​

  • 목적: 노드 내 각 GPU 상태를 표시하여 관리자가 전체 상태를 한눈에 파악하고 모니터링하기 쉽게 합니다.
  • 이 섹션은 여러 블록으로 구성되어 있으며, 각 블록은 다섯 개의 열을 포함합니다. 각 열은 하나의 노드를 나타냅니다.
  • 열 아래의 타일은 물리적 GPU를 나타내며, 각 타일의 색상은 상태를 나타냅니다:
    • 회색: Unknown / Not allocated
    • 파란색: Excellent, Good
    • 노란색: Bad, Poor
    • 빨간색: Warning, Critical

⇒ Full GPU 모드에서는 상태가 GPU 인스턴스 자체의 상태를 반영합니다.

MIG 모드에서는 상태가 GPU의 MIG 인스턴스 중 최악의 상태에 의해 결정됩니다.

GPU 및 MIG 인스턴스 메트릭​

  • 목적: 특정 메트릭에 따라 각 노드에서 GPU 및 MIG 인스턴스 메트릭을 시각적으로 표시합니다. 이 뷰를 통해 사용자는 각 노드에 몇 개의 GPU가 있는지, 각 GPU에 몇 개의 MIG 인스턴스가 구성되어 있는지 및 해당 메트릭을 식별할 수 있습니다.
  • 사용자가 GPU 또는 MIG 인스턴스 위에 마우스를 올리면 요약 정보가 표시됩니다:
    • Node Name: 클러스터 내 노드의 이름으로, GPU 또는 MIG 인스턴스가 속한 노드를 식별하는 데 사용됩니다.
    • GPU Name: GPU 이름.
    • Profile Name: MIG 프로필 이름.
    • Status Reason: 프로필의 현재 상태에 대한 사유
  • MIG 인스턴스를 클릭하면 오른쪽에 패널이 열리며, 해당 GPU 또는 MIG 인스턴스에 대한 자세한 정보가 표시됩니다. 여기에는 시간에 따른 성능 및 상태 변화가 포함됩니다:
    • 헤더: 클러스터 이름, 노드 이름 및 GPU 이름 (클러스터 이름/노드 이름/GPU 이름 형식으로 표시).
    • 일반 정보:
      • 프로필: 프로필 이름
      • 상태
      • 상태 이유
      • 작업 부하
    • 성능 추세:
      • SM Activity: GPU 내부의 물리적 컴퓨팅 유닛(SM)의 활성화 비율 (%)
      • SM Occupancy: SM에서 활성화된 워프의 비율과 최대 지원 워프의 비율로, CUDA 커널이 GPU 리소스를 얼마나 효율적으로 활용하는지를 나타냅니다 (%)
      • SM Clock: SM의 현재 속도 (MHz)
      • Tensor Active: 텐서 코어가 활성화되어 있는지 여부를 나타냅니다.
    • Memory performance:
      • 메모리 사용량: 현재 사용 중인 메모리의 비율 (%)
      • 메모리 대역폭: GPU 메모리의 읽기/쓰기 속도 (%)
  • Status Trend:
    • 온도 및 전력
      • Temperature: GPU 또는 MIG 인스턴스의 온도 (°C)
      • Power: 전력 소비 (W)
    • ECC 오류 (GPU):
      • ECC Volatile: Volatile ECC 오류의 수
      • ECC Aggregate: 누적된 ECC 오류의 총 수

GPU 및 MIG 인스턴스의 상세 사양​

  • 목적: 각 GPU 또는 MIG 인스턴스의 상세 메트릭을 표시합니다.
  • 표시된 정보:
    • Node: GPU 또는 MIG 인스턴스가 위치한 노드의 이름.
    • Device: 장치 ID
    • Profile: 프로필 이름.
    • Status: 프로필 현재 상태.
      • Fire icon: 하드웨어 서멀 쓰로틀링이 활성화되어 있는지 비활성화되어 있는지를 나타냅니다.
      • Lightning icon: GPU 전력 제한(전력 소비 제한)이 활성화되어 있는지 비활성화되어 있는지를 나타냅니다.
      • Thermometer icon: 소프트웨어 열 제한의 상태를 나타냅니다.
    • Assigned:
      • 프로필이 할당된 포드를 표시하며, 포드 네임스페이스(파란색)/포드 이름 형식으로 표시됩니다.
      • 프로필에 ECC 오류(Volatile ECC 오류 및 집계 ECC 오류 포함)가 있는 경우 옆의 아이콘이 강조 표시됩니다.
    • SM Act: SM Activity - GPU 내부의 물리적 컴퓨팅 유닛(SM)의 활성화 비율.
  • SM Occ: SM Occupy - SM에서 활성화된 워프의 비율과 최대 지원 워프의 비율로, CUDA 커널이 GPU 리소스를 얼마나 효율적으로 활용하는지를 나타냅니다.
    • SM Clk: SM Clock - SM의 현재 속도를 최대 속도와 비교한 것입니다.
    • Tensor: 텐서 코어가 현재 사용되고 있는지를 나타냅니다.
    • Mem Use: Memory Usage - 사용된 GPU 메모리의 비율/총 사용 가능한 메모리.
    • Mem Clk: Memory Clock - GPU 코어와 VRAM 간 데이터 전송 속도를 결정합니다.
    • Temp: Temperature - GPU 온도.
    • Power: Power - GPU 전력 소비.

필터​

사용자가 섹션 ④ 및 ⑤를 다양한 기준으로 필터링할 수 있도록 합니다:

  • 프로파일 상태: 상태 필터 값은 섹션 ④에서 선택한 탭에 따라 달라집니다. (예: Critical/Warning, Bad/Poor, Good/Excellent, Unknown)
  • 할당 여부: 프로파일이 포드에 할당되었는지 여부를 결정합니다.

⇒ 사용자는 프로파일 상태와 할당 조건을 결합하여 필터를 적용할 수 있습니다.

Grid 뷰

1~3) GPU 리소스 요약

4) GPU 및 MIG 인스턴스 메트릭

GPU 리소스 요약​

리소스 요약​

테이블 뷰와 동일

프로필 가용 현황​

  • 목적: 프로파일 사양에 따라 사용 가능한 프로파일의 비율을 표시합니다.
  • 색상:
    • 초록: 60% 이하
    • 주황: 61% 초과
  • 통계 카테고리: 1G, 2G, 3G, 4G, 7G, Full
  • 표시된 정보:
    • 중앙 값: 사용 가능한 프로파일의 비율을 표시합니다.
      • 사용 가능한 프로파일의 비율 = (사용 가능한 프로파일 수 : 총 프로파일 수) x 100%

프로필 분포​

  • 목적: 각 MIG 프로파일 사양의 수를 프로파일 사양에 따라 분류하여 표시합니다.
  • 색상: 색상은 ④ 섹션에서 선택한 메트릭에 따라 다릅니다.
  • 통계 카테고리: 1G, 2G, 3G, 4G, 7G, 전체
  • 표시된 정보:
    • 각 막대는 여러 색상의 세그먼트로 나누어진 데이터를 표시하며, 각 색상은 다른 프로파일 상태를 나타냅니다.
    • 각 막대의 오른쪽에는 프로파일의 총 수가 표시되어 관리자가 전체 대비 각 상태의 비율을 쉽게 확인할 수 있습니다.

GPU 및 MIG 인스턴스 메트릭​

테이블 뷰와 동일

필터​

사용자가 섹션 4와 에서 다양한 기준으로 필터링할 수 있도록 합니다:

  • 프로파일 상태: 상태 필터 값은 섹션 4에서 선택한 탭에 따라 달라집니다 (예: Critical/Warning, Bad/Poor, Good/Excellent, Unknown)
  • 할당 여부: 프로파일이 포드에 할당되었는지 여부를 결정합니다.

사용자는 프로파일 상태와 할당 조건을 결합하여 필터를 적용할 수 있습니다.