공식 발표해외
Amazon SageMaker HyperPod Inference, 관리형 NVIDIA Dynamo 지원
원제 · Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
AWS Machine Learning
한눈에 보기
Amazon SageMaker HyperPod Inference가 분산 추론을 위한 NVIDIA Dynamo를 지원한다. 오케스트레이션 레이어 직접 구축 없이 여러 노드에서 대규모 모델을 서빙할 수 있다.
AI 요약 · 원문 제목과 발췌를 한국어로 옮김 — 정확한 내용은 원문에서 확인해 주세요.
- 처음 보도
- AWS Machine Learning · 11.18 08:33
- 종류
- 공식 발표 · 해외
- 다룬 곳
- AWS Machine Learning
Amazon SageMaker HyperPod Inference now supports NVIDIA Dynamo for distributed inference, with multi-node and disaggregated serving, KV-aware routing, and automatic fault recovery.
원문의 저작권은 AWS Machine Learning에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.