커뮤니티국내
DGX Station 2대에서 vLLM으로 GLM-5.3 로컬 서빙하기
GeekNews
#OpenAI#GLM · Zhipu#AI 반도체 · GPU
한눈에 보기
GLM-5.3 NVFP4의 약 464GB 체크포인트를 DGX Station 2대의 GPU에 나눠 올리고, CPU 가중치 오프로딩 없이 하나의 OpenAI 호환 API로 서빙함텐서 병렬화(TP=2) 로 두 GB300 GPU가 가중치와 연산을 분담하며, 모든 요청의 토큰 생성 과정에서…
출처 발췌 — 정확한 내용은 원문에서 확인해 주세요.
- 처음 보도
- GeekNews · 11.16 05:46
- 종류
- 커뮤니티 · 국내
- 다룬 곳
- GeekNews · PyTorch KR
GLM-5.3 NVFP4의 약 464GB 체크포인트를 DGX Station 2대의 GPU에 나눠 올리고, CPU 가중치 오프로딩 없이 하나의 OpenAI 호환 API로 서빙함텐서 병렬화(TP=2) 로 두 GB300 GPU가 가중치와 연산을 분담하며, 모든 요청의 토큰 생성 과정에서 ConnectX-8 RDMA 연결로 부분 결과를 교환함다중 토큰…
원문의 저작권은 GeekNews에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.
보도 흐름
같은 소식을 다룬 보도를 처음 나온 순서대로 모았습니다.
GeekNews처음 보도지금 보는 보도
DGX Station 2대에서 vLLM으로 GLM-5.3 로컬 서빙하기
PyTorch KR
GPU 한 장에 안 들어가는 GLM-5.3 753B 모델을 DGX Station 2대에 나눠 vLLM으로 서빙하기