공식 발표해외오픈소스 · 대안
Amazon Bedrock 오픈 웨이트 모델에서 프롬프트 캐싱 활용하기
원제 · Use prompt caching with open-weight models on Amazon Bedrock
AWS Machine Learning
한눈에 보기
프롬프트 캐싱을 사용하면 Amazon Bedrock의 오픈 웨이트 모델에서 동일한 컨텍스트를 재사용해 입력 비용과 지연 시간을 줄일 수 있습니다.
AI 요약 · 원문 제목과 발췌를 한국어로 옮김 — 정확한 내용은 원문에서 확인해 주세요.
- 처음 보도
- AWS Machine Learning · 11.17 00:42
- 종류
- 공식 발표 · 해외
- 다룬 곳
- AWS Machine Learning
Many generative AI applications resend the same long context on every request. Prompt caching lets open-weight models on Amazon Bedrock reuse it to reduce input cost and latency.
원문의 저작권은 AWS Machine Learning에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.