공식 발표국내
같은 GPU로 더 많은 AI 요청을 처리할 수 있을까? ― KV 캐시 오프로딩 × EPP 라우팅: 계산 결과를 오래 남기고, 다음 요청이 그 결과를 찾아가게 하기
카카오 기술블로그
한눈에 보기
“같은 GPU 32장, 같은 요청 3,456건. 처리 시간이 121.7분에서 47.2분으로 줄었습니다. GPU도 모델도 바꾸지 않았습니다. 바꾼 것은 두 가지입니다.
출처 발췌 — 정확한 내용은 원문에서 확인해 주세요.
- 처음 보도
- 카카오 기술블로그 · 11.18 00:00
- 종류
- 공식 발표 · 국내
- 다룬 곳
- 카카오 기술블로그
“같은 GPU 32장, 같은 요청 3,456건. 처리 시간이 121.7분에서 47.2분으로 줄었습니다. GPU도 모델도 바꾸지 않았습니다. 바꾼 것은 두 가지입니다. 이미 계산한 결과를 GPU 밖에도 보관할 수 있게 했고, 같은 문서를 묻는 다음 요청이 그 결과를 가진 서버로 가게 했습니다.” 저희 팀은 사내 서비스가 쓰는 LLM 추론 플랫폼을 운영합니다.
원문의 저작권은 카카오 기술블로그에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.