PagedAttention 페이지 방식 어텐션

언어 모델의 키와 값 캐시를 일정한 크기의 블록에 나누어 저장하고 논리적 순서와 물리적 위치를 따로 관리하는 어텐션 처리 방식입니다.

응답이 길어질수록 이전 토큰의 키와 값 캐시도 늘어납니다. 요청별 최대 길이에 맞춰 큰 연속 메모리를 미리 잡으면 실제로 쓰지 않는 공간과 조각난 공간이 늘어날 수 있습니다. 페이지 방식 어텐션은 캐시를 필요한 블록 단위로 관리하여 이런 낭비를 줄이는 데 목적이 있습니다.

논리적인 토큰 순서는 유지하되 캐시가 물리적으로 한 덩어리에 놓일 필요는 없게 합니다. 원래 논문은 운영체제의 가상 메모리와 페이징에서 착안한 블록 관리 및 캐시 공유를 설명하며 이를 추론 제공 시스템인 vLLM에 적용합니다. 운영체제의 디스크 교환 기능 그 자체를 가리키지는 않습니다.

긴 노트를 반드시 한 권의 연속된 빈 페이지에 써야 한다고 가정하면 빈 공간이 많이 남을 수 있습니다. 내용을 여러 묶음에 쓰고 목차로 순서를 관리하면 필요한 공간을 나누어 쓸 수 있습니다. 이 비유는 메모리 배치를 설명하며 모델의 읽기 순서를 바꾼다는 뜻은 아닙니다.

연속 캐시 할당과의 차이

요청마다 큰 연속 공간을 확보하는 방식과 달리 고정 크기 블록으로 물리 공간을 나눕니다. 블록 크기와 관리 비용은 구현 및 실행 조건에 영향을 받습니다.

접두부 캐시와의 차이

페이지 방식 어텐션은 메모리 배치와 접근을 관리합니다. 접두부 캐시는 같은 입력 앞부분을 다시 계산하지 않도록 하는 기능입니다. 블록 공유가 재사용에 도움이 될 수 있어도 두 용어를 같은 기능으로 정의하지 않습니다.

발표 시점과 구현 변화

원래 논문은 2023년에 발표됐습니다. 최근 추론 서버에서 사용되더라도 올해 처음 나온 개념으로 소개하지 않습니다. 최신 엔진의 커널과 캐시 관리 방식이 원래 논문의 모든 세부와 동일하다고 단정하지 않습니다.

여러 길이의 요청을 동시에 처리하여 캐시 메모리 효율이 중요한 언어 모델 서버에서 사용합니다. 모델 가중치가 차지하는 메모리와 키와 값 캐시 메모리는 구분해야 합니다.

캐시 배치를 효율화해도 물리 메모리 용량의 한계는 남습니다. 요청 수와 문맥 길이가 커지면 여전히 메모리 부족이나 요청 대기가 생길 수 있습니다.

메모리 낭비를 줄이는 효과와 답변 내용의 정확성을 혼동하지 않습니다. 모델을 더 똑똑하게 학습시키는 기술은 아닙니다.

논문의 성능 비교는 당시 구현과 실험 조건의 결과입니다. 최신 장치나 다른 서비스의 처리량을 보장하는 수치로 사용하지 않습니다.

저장장치의 페이지 파일과 같은 기능인가요?

이 용어의 핵심은 어텐션 캐시의 블록 배치와 관리입니다. 캐시를 저장장치로 옮기는 기능이나 운영체제 페이지 파일과 같은 뜻으로 쓰지 않습니다.

연속 배칭과 왜 함께 설명하나요?

여러 요청이 들어오고 끝날 때 캐시 공간을 유연하게 관리하는 것이 중요하기 때문입니다. 요청의 실행 일정과 메모리 배치를 구분해서 이해하면 관계가 명확해집니다.

2023년 원 논문과 vLLM 기능 안내를 근거로 설명합니다. 제품의 공통 버전 번호가 있는 기능으로 표현하지 않습니다.

최종 검토일: 2026-10-25

Original research authors: Efficient Memory Management for Large Language Model Serving with PagedAttention

vLLM: vLLM project documentation

함께 이해할 용어: KV cache 키와 값 캐시, Prefix caching 공통 입력 앞부분 캐시 재사용, Continuous Batching 연속 배칭, Chunked Prefill 분할 입력 처리, GPU 그래픽 처리 장치, Quantization 모델 양자화, Prefill 입력 문맥 처리 단계, Decode 토큰 생성 단계, Disaggregated Serving 분리형 추론 서비스