Reshard: NVIDIA가 공개한, 강화 학습 가중치 전송을 최대 5.7배 가속하는 집단 통신 연산

#NVIDIA#AI 반도체 · GPU

핵심 요약 Reshard는 학습 GPU의 최신 가중치를 추론 GPU로 옮길 때 각 GPU에 필요한 조각만 직접 전달합니다. NVIDIA의 NeMo RL 실험에서 H100과 GB200 시스템의 가중치 갱신(Refit) 구간이 기존 방식보다 약 2.7~5.7배 빨라졌으며, 이 배속은 전체 강화 학습 시간의 개선율과 구분해야 합니다.

원문의 저작권은 PyTorch KR에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.