By Inforience in AI_Dive — 23 5월 2026

504개의 GPU로 구성된 63노드 B200 클러스터의 운영 데이터를 분석한 테크니컬 리포트

국내 연구진이 작성한504개의 GPU로 구성된 63노드 B200 클러스터의 운영 데이터를 분석한 테크니컬 리포트입니다.

(1) 국내 5개 기관들 (SKT, Upstage, Lablup, NVIDIA Korea, VAST Data)의 협력으로 진행되었습니다.
(2) 연구진은 소규모(2~4개 노드)에서는 나타나지 않던 60여 개 노드 규모의 초대형 스토리지 I/O 병목 현상을 공동 진단하여 해결하였습니다.
(3) 751개의 메트릭 분석을 통해 GPU 장애를 100%(10/10) 감지해 냈다고 합니다.
(4) 자동 재시도 체인(auto-retry chain)을 도입하여 수동 복구율(12.5%)보다 2.7배 높은 33.3%의 복구 성공률을 달성하고 복구 대기 시간을 평균 11분으로 단축시켰다고 합니다.

(1) NVLink 오류 (XID 145, 149) : GPU 간 내부 통신망의 결함. (29.4%)
(2) GPU 카드 이탈 (XID 79) : GPU가 호스트 시스템(PCIe 버스 등)에서 분리되어 인식되지 않는 오류. (11.8%)
(3) ECC 오류 (XID 94) : GPU 메모리(VRAM)의 데이터 손상 및 손실 (11.8%)
(4) GSP RPC 타임아웃 (XID 119) : GPU 펌웨어 레벨의 실행 오류 (5.9%)
(5) 성능 저하 (Fail-slow faults) 및 기타 : 명시적인 오류는 발생하지 않았으나 노드의 훈련 속도가 눈에 띄게 느려져 전체 작업에 지연을 초래하는 문제 (29.4%)

(1) 하드웨어 조치 (노드 격리 및 세션 마이그레이션)

(2) 애플리케이션 조치 (자동 재시도 및 세션 재시작)

(3) 자동 재시도 복구 체계를 활용했을 때, 일시적 오류에 대한 복구 성공률은 33.3%로 수동 복구(12.5%) 대비 2.7배 향상되었습니다.

(1) 근본적인 원인은 물리적인 네트워크 대역폭이나 서버의 처리 능력이 부족해서가 아니라, 클라이언트 측 NFS RPC 프로토콜 계층의 128개 슬롯 제한이 포화 상태에 이르기 때문입니다.

(2) 해당 시스템은 200Gbps RoCE 네트워크(이론상 노드당 25GB/s, 클러스터 전체 1,500GB/s)를 갖추고 있으나, 실제 저장 시 대역폭 사용률은 평균 1.4% 수준에 불과했습니다.

(3) 결과적으로 이 병목 현상은 네트워크 스위치나 케이블의 한계가 아니기 때문에 네트워크 대역폭을 400Gbps로 업그레이드하더라도 해결되지 않습니다.

NFS 클라이언트의 RPC 슬롯 할당량 한도를 늘리거나, 클라이언트 측 I/O 병합(Readahead 최적화)을 적용하고, 서버 측의 응답 시간을 단축하는 형태의 프로토콜 수준 최적화가 필요합니다.

(1) 장애 탐지 및 오류 분류 : 다중 계층에 걸쳐 모니터링을 수행하여 장애를 탐지하고 NVIDIA GPU의 오류 식별자인 XID 코드를 기반으로 해결 유형을 분류합니다.

(2) 오류 유형에 따른 맞춤형 조치 : 분류된 오류 유형에 따라 복구 전략을 적용합니다.

(3) 설정된 정책에 따른 자동 재시도 : 관리자가 사전에 설정한 재시도 횟수(Max retry attempts)와 지연 시간(Retry delay)에 따라 복구가 진행됩니다.

(4) 세션 기반 상태 유지 및 체크포인트 복구 : 상태가 보존되는 '세션(Session)' 단위로 재시작을 수행합니다.

시스템 자체는 자원의 재할당과 세션 재시작만을 담당하며, 실제 모델 데이터와 체크포인트를 불러와 이전에 중단된 시점부터 훈련을 이어가는 역할은 딥러닝 프레임워크(예: PyTorch)에 위임하여 처리합니다.

(5) 갱 스케줄링 (Gang Scheduling)을 통한 자원 동시 할당 : 재시작 과정에서 클러스터 단위의 대규모 훈련(예: 60노드 필요)인 경우, 시스템은 요구되는 모든 노드가 동시에 확보될 때만 세션을 시작하는 '갱 스케줄링' 방식을 사용합니다.