뉴스해외
Google, TPU용 오픈소스 KV 캐시 전송 라이브러리 TPU Sync 출시
원제 · Google Releases TPU Sync: Open-Source KV Cache Transfer for TPUs
MarkTechPost
#Google · 구글#오픈소스 모델#AI 반도체 · GPU
Google이 TPU HBM, 호스트 DRAM, 스토리지 및 네트워크 간 KV 캐시와 가중치를 이동하는 오픈소스 C++ 라이브러리 TPU Sync를 출시했다. 235B~480B MoE 모델에서 전송 지연 시간을 90% 이상 줄였다고 발표했다.
한국어 요약 · 원문 제목과 발췌를 AI 가 옮긴 것으로, 정확한 내용은 원문에서 확인해 주세요.
Google released TPU Sync, an open-source C++ library that moves KV caches and weights across TPU HBM, host DRAM, storage and network.
원문의 저작권은 MarkTechPost에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.