GPU Monitoring (Project Level)

GPU 모니터링 화면은 사용자가 프로젝트에 할당된 GPU 풀의 상태와 사용량을 모니터링할 수 있도록 합니다.

섹션 A: 프로필 분포

섹션 B: GPU 풀 카드

각 카드는 하나의 GPU 풀에 해당하며 다음 정보를 표시합니다:

제목: GPU 풀 이름
사용 상태:
- Total: 풀에 할당된 GPU의 총 수
- In Use: 사용 중인 GPU의 수
Utilization: 사용 중인 GPU의 비율
Allocation: 할당된 리소스의 수로, “사용 중인 프로필 수/풀의 총 프로필 수” 형식으로 표시됩니다.
- 진행률 : 녹색은 사용 중인 프로필을 나타내고, 회색은 사용 가능한 프로필을 나타냅니다.
태그: 풀에 할당된 GPU 프로필 사양.
생성일: YYYY-MM-DD 형식으로 풀 생성 날짜를 표시합니다.

사용자가 GPU 풀 카드를 클릭하면 시스템은 해당 GPU 풀의 세부 정보 화면으로 이동합니다. 이 화면에는 풀의 구성 및 실제 사용 상태를 이해하기 위한 두 개의 주요 탭(Allocation 탭 및 Monitoring 탭)이 포함되어 있습니다.

Allocation 탭: 리소스 구성 개요

Allocation 탭은 GPU 풀이 물리적으로 어떻게 구성되어 있는지를 표시합니다. 이 탭은 어떤 GPU가 어떤 프로필과 함께 이 풀에 할당되어 있는지, 어떤 노드에서, 어떤 클러스터에 있는지를 시각화합니다.

일반 상태:

목적: 각 노드에서 GPU 배치에 대한 자세한 정보를 제공합니다.
상태:
- 사용 중 (풀) (녹색): 이 풀 내에서 현재 사용 중인 프로필.
- 사용 중 (외부) (녹색): 다른 풀에서 현재 사용 중인 프로필.
- 유휴 (흰색): 사용 가능한 프로필

목적: 이 풀에서 GPU를 실제로 사용하고 있는 Pods를 표시합니다. 이는 GPU 풀 관리에서 가장 중요한 탭으로, Pod 수준에서 리소스 사용을 추적할 수 있게 합니.
표시된 정보:
- Pod: Pod 이름
- Profile: Pod에서 사용되는 GPU 프로필.
- GPU: Pod에서 사용된 GPU의 UUID
  - Fire icon: 하드웨어 서멀 쓰로틀링이 활성화되었는지 비활성화되었는지를 나타냅니다.
  - Lightning icon: GPU 전력 제한(전력 소비 제한)이 활성화되었는지 비활성화되었는지를 나타냅니다.
  - Thermometer icon: 소프트웨어 열 제한의 상태를 나타냅니다.
- Status: 프로필의 상태
- SM Activity: GPU 내부에서 활성화된 실제 컴퓨팅 유닛()의 비율.
- SM Occupy: SM에서 활성화된 워프과 최대 지원 워프 간의 비율, CUDA 커널이 GPU 리소스를 얼마나 효율적으로 활용하는지를 나타냅니다.
- SM Clock: SM의 현재 속도가 최대 속도에 비해 얼마나 되는지를 나타냅니다.
Tensor: 텐서 코어가 현재 사용되고 있는지 여부를 나타냅니다.
- Memory Usage: 사용된 GPU 메모리/총 사용 가능한 메모리의 비율
- Memory Clock: GPU 코어와 VRAM 간에 데이터가 얼마나 빠르게 전송되는지를 결정합니다.
- Temperature: GPU 온도.
- Power: GPU 전력 소비.