Continuous Batching 연속 배칭

언어 모델이 여러 요청의 출력을 생성하는 동안, 완료된 요청을 빼고 새 요청을 실행 묶음에 넣어 처리하는 일정 관리 방식입니다.

언어 모델의 응답은 보통 한 번에 완성되지 않고 작은 출력 단위인 토큰을 순서대로 생성합니다. 요청마다 입력과 출력 길이가 다르므로 같은 묶음으로 시작해도 끝나는 시점이 달라집니다. 연속 배칭은 생성 반복 단계 사이에서 실행할 요청 구성을 조절하여 남는 처리 자원을 새 요청에 사용할 수 있게 합니다.

연속 배칭이 각 요청을 따로 실행한다는 뜻은 아닙니다. 한 계산 단계에서 여러 요청을 함께 처리하면서 각 요청의 캐시와 종료 상태를 구분합니다. 대기열의 요청을 언제 받아들이고 얼마나 많은 토큰을 한 번에 처리할지는 추론 엔진의 일정 관리 정책과 메모리 여유에 따라 달라집니다.

여러 사람의 식사를 한꺼번에 준비하는 주방을 생각하면 이해하기 쉽습니다. 한 주문이 끝날 때마다 빈 작업 자리에 다음 주문을 넣는 방식입니다. 처음 받은 주문이 모두 끝날 때까지 기다리는 것과 차이가 있지만, 주문 하나의 조리 시간이 반드시 짧아지는 것은 아닙니다. 이는 동작을 설명하기 위한 예시입니다.

고정 배칭과의 차이

처음 정한 요청 묶음을 유지하는 방식은 요청 길이가 크게 다를 때 처리 자원이 남을 수 있습니다. 연속 배칭은 실행 중 묶음 구성을 바꾸지만 요청별 상태와 메모리를 계속 관리해야 합니다.

분할 입력 처리와의 차이

분할 입력 처리는 긴 입력의 계산을 여러 조각으로 나누는 방식입니다. 연속 배칭과 함께 사용할 수 있으나 실행 묶음의 요청을 바꾸는 기능과 입력 계산을 나누는 기능은 같은 뜻이 아닙니다.

규격과 구현 버전

공통 표준의 연속 배칭 1세대나 2세대 같은 구분은 사용하지 않습니다. 확인한 vLLM 문서는 연속 배칭을 지원 기능으로 설명하며, 구체적인 일정 관리와 기본 설정은 사용하는 소프트웨어 판을 기준으로 확인해야 합니다.

여러 사용자가 동시에 언어 모델을 호출하는 추론 서버에서 처리량과 대기 시간을 조절할 때 사용합니다. 입력이 긴 요청과 출력이 긴 요청이 섞이면 첫 응답 시간과 출력 간격을 함께 살펴야 합니다.

동시 요청을 늘리면 키와 값 캐시가 차지하는 메모리도 늘어납니다. 처리량이 증가해도 특정 요청의 대기 시간이 길어질 수 있으므로 실제 입력 길이, 출력 길이와 동시 사용자 조건으로 평가합니다.

배칭을 사용했다고 모델의 지식이나 답변 정확도가 향상되는 것은 아닙니다. 요청의 실행 일정을 바꾸는 기술입니다.

문서에 나온 특정 장비의 처리량을 다른 모델과 장비에 그대로 적용하지 않습니다. 메모리가 부족한데 요청 수만 늘리는 설정도 피해야 합니다.

한 명만 사용해도 빨라지나요?

동시에 처리할 요청이 거의 없다면 요청 묶음을 채우는 이점이 작습니다. 한 요청의 속도는 모델 계산량, 메모리 대역폭과 다른 최적화의 영향을 함께 받습니다.

페이지 방식 어텐션과 같은 뜻인가요?

아닙니다. 연속 배칭은 요청 실행의 일정 관리이고 페이지 방식 어텐션은 키와 값 캐시의 메모리 관리 방식입니다. 같은 추론 엔진에서 함께 사용할 수 있습니다.

vLLM의 현재 기능 안내와 최적화 문서를 기준으로 설명합니다. 공통 표준 번호가 있는 기술로 표현하지 않습니다.

최종 검토일: 2026-10-25

vLLM: vLLM project documentation

vLLM: vLLM Optimization and Tuning

Original research authors: Efficient Memory Management for Large Language Model Serving with PagedAttention

함께 이해할 용어: Chunked Prefill 분할 입력 처리, PagedAttention 페이지 방식 어텐션, KV cache 키와 값 캐시, Prefill 입력 문맥 처리 단계, Decode 토큰 생성 단계, Disaggregated Serving 분리형 추론 서비스, Prefix caching 공통 입력 앞부분 캐시 재사용, Model Routing 모델별 요청 분배