논문해외
LowRAM: 테스트 시점의 구성 가능한 KV 캐시 압축 기술
원제 · LowRAM: Low-Rank Keys and Amortised Values for Composable KV Cache Compression at Test-Time
HF Daily Papers
KV 캐시 메모리 증가 문제를 해결하기 위해 기존 사후 학습 방식 대신 저랭크 키와 분할 상환 값을 활용한다.
한국어 요약 · 원문 제목과 발췌를 AI 가 옮긴 것으로, 정확한 내용은 원문에서 확인해 주세요.
Autoregressive decoding relies on the KV cache, whose memory footprint grows linearly with context length and caps batch size and throughput.
원문의 저작권은 HF Daily Papers에 있습니다. 위 발췌는 원문 확인을 돕기 위한 짧은 인용입니다.