연동 키트API 연동Amazon Bedrock
Bedrock 오픈 모델과 앱의 명시적 캐싱 연동
- 누가 · 어디에
- 반복 시스템 프롬프트나 대규모 문서를 LLM에 자주 전달하는 AI 서비스 개발자
- 업무 효과
- 동일 프롬프트 접두사의 중복 계산을 건너뛰어 입력 토큰 비용과 API 응답 지연 시간을 줄입니다.
공식 API · SDK 로 우리 시스템에 붙입니다. AI 가 공식 문서를 찾아 정리한 가이드로, mopick 이 직접 따라 해 보지는 않았습니다 · 공식 문서에서 제품을 확인했습니다
준비할 것
- Amazon Bedrock 접근 권한이 있는 AWS 계정
- 명시적 캐싱을 지원하는 Bedrock 오픈 웨이트 모델 권한(Kimi K3, GLM 5.3 등)
- Bedrock 인증 토큰 생성기(aws-bedrock-token-generator) 또는 IAM 자격 증명
- Python 3.10 이상 및 openai 패키지 설치 환경
연동 단계
해 본 단계는 번호를 눌러 표시하세요. 표시는 이 브라우저에만 남습니다.
모델 접근 활성화
AWS 콘솔의 Amazon Bedrock > Model access로 이동해 Kimi K3 등 명시적 캐싱을 지원하는 오픈 웨이트 모델의 사용 권한을 요청하고 승인받습니다.
인증 토큰 발급
AWS CLI 또는 aws-bedrock-token-generator 라이브러리를 사용해 Bedrock Chat Completions 엔드포인트 호출용 임시 Bearer 토큰을 발급합니다.
캐시 옵션 및 지점 설정
요청 파라미터에 prompt_cache_options.mode를 explicit으로 지정하고, 반복되는 고정 프롬프트 끝 블록에 prompt_cache_breakpoint를 추가합니다.
API 호출 및 메트릭 확인
OpenAI 호환 Chat Completions API를 호출하고, 응답 usage.prompt_tokens_details에서 캐시 읽기/쓰기 토큰 발생 여부를 확인합니다.
붙여 넣는 설정 · 코드
YOUR_API_KEY 같은 자리에는 내 값을 넣으세요. 키는 코드 · 문서에 그대로 남기지 말고 환경 변수 · 비밀 저장소에 두세요.
from openai import OpenAI
client = OpenAI(
base_url="https://bedrock-runtime.us-east-1.amazonaws.com/model/global.moonshotai.kimi-k3/v1",
api_key="YOUR_BEDROCK_BEARER_TOKEN"
)
response = client.chat.completions.create(
model="global.moonshotai.kimi-k3",
messages=[
{
"role": "system",
"content": [
{"type": "text", "text": "여기에 수천 토큰 이상의 고정 매뉴얼/규정을 입력합니다.", "prompt_cache_breakpoint": {"mode": "explicit"}}
]
},
{"role": "user", "content": "규정 제1조 내용을 요약해줘."}
],
extra_body={"prompt_cache_options": {"mode": "explicit"}}
)
print(response.usage)- 잘 연결됐는지 확인
- 연속 2회 동일 접두사로 요청 시 두 번째 응답의 usage.prompt_tokens_details 내 cached_tokens 수치가 0보다 큰지 확인합니다.
- 비용
- 공식 문서에서 확인(캐시 읽기는 표준 입력 요금 대비 할인 청구, 캐시 쓰기는 모델별 별도 요율 적용)
- 주의
- · prompt_cache_options 모드 선언과 prompt_cache_breakpoint 지정이 모두 포함되어야 명시적 캐싱이 작동합니다.
- · 모델별 최소 캐시 토큰 길이(Kimi K3: 256토큰, GLM 5.3: 1,024토큰 등)와 리전별 지원 여부를 공식 모델 카드로 확인해야 합니다.
- · 캐시 접두사가 바이트 단위로 완전히 일치해야 캐시 히트가 발생하므로 공백이나 포맷 변경에 주의해야 합니다.
공식 문서
- 확인됨Use prompt caching with open-weight models on Amazon Bedrock aws.amazon.com/blogs/machine-learning/use-prompt-caching-with-open-weight-models-on-amazon-bedrock/
- 확인됨Prompt caching for faster model inference - Amazon Bedrock User Guide docs.aws.amazon.com/bedrock/latest/userguide/prompt-caching.html
우리 회사 시스템에 붙여야 한다면 — 업무 앱 · 사내 자료 · 보안 조건에 맞춘 연동을 TPI INSIGHT AX센터가 함께합니다.