KVzip

KVzip은 Transformer 기반 대규모 언어 모델의 추론 과정에서 발생하는 KV 캐시 메모리 병목 현상을 해결하기 위한 기술이다. 기존의 질의-종속적(Query-Dependent) 방식과 달리, 한 번 압축된 캐시를 여러 질의에 재사용할 수 있는 질의-무관 방식을 채택한 것이 특징이다. 이를 통해 긴 컨텍스트를 처리할 때 발생하는 메모리 오버헤드와 주의(Attention) 메커니즘의 지연 시간을 효과적으로 줄인다.

Transformer 모델은 추론 시 이전 토큰의 정보를 키-값(KV) 쌍으로 캐시에 저장하여 중복 연산을 방지한다. 그러나 입력 컨텍스트가 길어질수록 KV 캐시의 크기가 선형적으로 증가하며, 이는 GPU 메모리 부족과 추론 속도 저하의 주요 원인이 된다. 기존의 캐시 압축 기법들은 특정 질문(Query)에 최적화되어 있어 질문이 바뀔 때마다 캐시를 다시 구성해야 하는 한계가 있었다. KVzip은 이러한 재사용성 문제를 해결하기 위해 고안되었다.

KVzip은 '컨텍스트 재구성(Context Reconstruction)'이라는 독창적인 중요도 측정 방식을 사용한다. 모델이 캐시된 KV 쌍의 부분 집합만으로 원래의 문맥을 얼마나 잘 복원하는지를 평가하여, 재구성에 기여도가 낮은 KV 쌍을 제거한다.

1. 중요도 정량화: LLM 자체의 능력을 활용해 각 KV 쌍이 전체 문맥 유지에 미치는 영향을 측정한다.
2. 질의-무관 제거: 특정 질문에 의존하지 않고 문맥 자체의 중요도를 따지므로, 압축된 캐시를 다양한 하위 작업에 그대로 재사용할 수 있다.
3. 무학습 구조: 별도의 추가 학습이나 모듈 없이 기존 모델의 가중치를 그대로 활용한다.

KVzip은 Qwen2.5, LLaMA3, Gemma3 등 다양한 최신 언어 모델에서 성능이 검증되었다. 실험 결과에 따르면 메모리 사용량은 기존 대비 3~4배 감소하며, 추론 지연 시간은 약 2배 개선되는 성과를 보였다.

이러한 효율성 덕분에 단일 GPU에서 더 긴 컨텍스트를 처리하거나 더 많은 동시 요청을 처리하는 것이 가능해졌다.

2026년 1월에는 초기 KVzip의 압축 오버헤드를 제거한 Fast KVzip이 공개되었다. 이 버전은 프리필(Prefill) 단계와 디코딩(Decoding) 단계의 효율성을 더욱 극대화하여 실시간 추론 환경에서의 실용성을 높였다. 관련 소스코드는 GitHub를 통해 오픈소스로 제공되고 있다.