KV cache 키와 값 캐시

KV cache는 생성형 언어 모델의 추론에서 이전 토큰으로 계산한 주의집중 연산의 키와 값 상태를 저장해 다시 사용하는 캐시입니다. 같은 계산의 반복을 줄이는 장치이며 답변 원문을 저장하는 일반 검색 캐시나 모델의 학습 가중치와는 다릅니다.

입력 문맥을 처리하는 prefill 단계에서 키와 값 상태를 만들고, 이후 토큰을 생성하는 decode 단계에서 이전 상태를 참조하며 새 상태를 추가할 수 있습니다. 필요한 메모리는 문맥 길이, 동시 요청 수, 모델 구조와 캐시의 수치 형식 등에 영향을 받습니다.

긴 입력을 가진 여러 요청을 처리하면 모델 가중치가 메모리에 들어가더라도 KV 캐시 공간이 부족해질 수 있습니다. 일부 실행기는 캐시를 나누어 관리하거나 다른 메모리 계층으로 옮깁니다. 이때 전송 비용 때문에 응답 속도와 처리량이 달라질 수 있습니다.

일반 KV 캐시, 공통 입력 앞부분을 재사용하는 prefix caching, 캐시 정밀도를 줄이는 양자화와 외부 메모리로 옮기는 offloading은 서로 다른 최적화 방식입니다. RAG는 필요한 자료를 검색해 입력에 제공하는 방식이므로 KV 캐시의 다른 이름이 아닙니다.

캐시를 사용한다고 모든 추론 방식이 같은 이득을 얻는 것은 아닙니다. 재사용 가능한 문맥과 모델 조건, 메모리 관리 및 실행기의 지원을 확인해야 합니다. 서로 다른 사용자의 문맥을 무조건 공유해서는 안 되며 격리와 삭제 정책도 필요합니다.

이 절의 용어: Prefill / 입력 문맥 처리 단계

Prefill은 언어 모델 추론에서 입력 토큰들을 처리해 초기 상태와 KV 캐시 등을 만드는 단계입니다. 다음 토큰을 반복 생성하는 decode와 구분합니다. 입력 길이와 구현에 따라 필요한 계산량이 달라지므로 첫 응답까지의 시간과 이후 생성 속도를 같은 지표로 보지 않습니다.

이 절의 용어: Decode / 토큰 생성 단계

Decode는 이미 처리한 문맥을 바탕으로 출력 토큰을 차례로 생성하는 추론 단계입니다. KV 캐시를 사용하는 구현은 이전 키와 값 상태를 참조하고 새 토큰의 상태를 추가합니다. 저장장치의 복호화나 영상 디코딩과는 이 문맥에서의 의미가 다릅니다.

이 절의 용어: Prefix caching / 공통 입력 앞부분 캐시 재사용

Prefix caching은 여러 요청에서 같은 입력 앞부분에 해당하는 계산 상태를 재사용하는 방식입니다. 이미 만든 KV 캐시를 재활용하면 일부 입력 계산을 줄일 수 있지만, 모델과 토큰 및 실행 조건이 맞아야 합니다. 의미가 비슷한 문장을 자동으로 같은 입력으로 취급하거나 사용자 간 권한을 생략하는 기능은 아닙니다.

NVIDIA Dynamo glossary: key-value cache and inference phases

NVIDIA inference optimization and KV cache