공식 발표해외
Amazon SageMaker AI 실시간 엔드포인트, KV 캐시 인지 라우팅 지원
원제 · Amazon SageMaker AI real-time endpoints now support KV cache aware routing
AWS Machine Learning
한눈에 보기
Amazon SageMaker AI 실시간 엔드포인트가 프롬프트 캐시 일치 항목을 가장 오래 보유한 인스턴스로 요청을 보내는 KV 캐시 인지 라우팅을 지원한다.
AI 요약 · 원문 제목과 발췌를 한국어로 옮김 — 정확한 내용은 원문에서 확인해 주세요.
- 처음 보도
- AWS Machine Learning · 11.18 06:11
- 종류
- 공식 발표 · 해외
- 다룬 곳
- AWS Machine Learning
Amazon SageMaker AI real-time endpoints now support KV cache-aware routing, a new strategy that routes each request to the instance holding the longest cached match for its prompt.
원문의 저작권은 AWS Machine Learning에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.