Chunked Prefill 분할 입력 처리

언어 모델이 긴 입력 문맥을 처음 계산하는 작업을 작은 조각으로 나누어, 이미 응답을 생성 중인 요청과 함께 실행하도록 하는 방식입니다.

입력 처리 단계는 질문과 문서 전체를 읽고 이후 출력 생성에 사용할 키와 값 캐시를 준비합니다. 매우 긴 입력을 한 번에 처리하면 이미 생성 중인 다른 요청의 다음 토큰이 늦어질 수 있습니다. 분할 입력 처리는 이런 긴 계산을 나누어 실행 기회를 조절합니다.

확인한 vLLM의 V1 문서는 출력 생성 요청을 우선 배치하고 남은 토큰 예산에 입력 계산을 넣는 방식을 설명합니다. 남은 예산에 입력 전체가 들어가지 않으면 일부를 처리하고 나머지는 다음 계산 단계로 넘깁니다. 이 동작을 모든 추론 엔진의 공통 규칙으로 일반화하지 않습니다.

긴 문서를 복사하는 동안 짧은 출력 작업을 사이에 넣는 예시와 비슷합니다. 긴 문서를 없애거나 내용을 생략하는 것이 아니라 한 번에 처리하는 분량을 조절합니다. 긴 입력을 요약해 줄이는 문맥 압축과도 구별해야 합니다.

한 번에 처리하는 입력 계산

입력 전체를 한 계산 구간에 처리하면 해당 요청의 첫 응답 준비에는 유리할 수 있지만 다른 요청의 출력 간격이 길어질 수 있습니다.

조각으로 나누는 입력 계산

각 구간의 입력 계산량을 제한하여 출력 생성과 섞어 처리합니다. 조각이 작다고 항상 전체 지연이 줄지는 않으며 반복 실행 부담과 대기열을 함께 고려해야 합니다.

V0 문서와 V1 문서의 구분

과거 문서는 실험 기능과 명시적 활성화를 설명합니다. 확인한 현재 V1 문서는 가능한 경우 기본 활성화와 생성 우선 일정을 설명합니다. 구형 설명의 기본값을 최신 실행 환경에 그대로 대입하지 않습니다.

긴 검색 문서나 대화 기록을 입력하는 요청과 짧은 응답 요청이 동시에 들어오는 서비스에서 검토합니다. 첫 토큰이 나오기까지의 시간과 이후 토큰 사이의 시간을 나누어 평가해야 합니다.

vLLM의 max_num_batched_tokens는 한 묶음에서 처리할 토큰 예산과 관계된 설정입니다. 문서의 권장 숫자를 무조건 복사하지 않고 모델 크기, 장치와 요청 분포에 맞춰 확인합니다.

입력을 조각내어 처리하는 것과 문서 일부를 검색에서 제외하는 것은 다릅니다. 분할 입력 처리라는 이름만으로 내용 손실이나 검색 품질을 판단하지 않습니다.

키와 값 캐시 재사용은 이미 계산한 입력을 다시 쓰는 기능입니다. 분할 입력 처리는 새로 해야 할 계산을 나누는 기능으로 목적이 다릅니다.

입력 길이 제한을 늘려 주나요?

처리 일정이 달라질 뿐 모델이 지원하는 문맥 길이 제한을 자동으로 늘리지는 않습니다. 긴 문맥 지원과 위치 표현 설정은 별도 조건입니다.

분리형 추론 서비스가 있어야만 쓰나요?

반드시 그렇지는 않습니다. 같은 실행 자원에서 입력과 생성을 섞는 구성에도 적용할 수 있습니다. 분리형 추론은 단계별 자원 배치에 관한 구조입니다.

한 번에 처리하는 입력 분량을 줄이면 모두 빨라지나요?

작은 조각은 다른 요청의 출력이 오래 기다리는 상황을 줄이는 데 도움이 될 수 있습니다. 반대로 긴 입력 자체의 첫 응답 준비와 반복 실행 부담에는 영향을 줄 수 있으므로 첫 토큰 시간과 생성 간격을 함께 평가해야 합니다.

현재 V1 안내와 과거 v0.4.2 문서를 비교했습니다. 기본값과 지원 조합은 실행 중인 소프트웨어 판에서 다시 확인해야 합니다.

최종 검토일: 2026-10-25

vLLM: vLLM Optimization and Tuning

vLLM: vLLM project documentation

vLLM: Performance and Tuning v0.4.2

함께 이해할 용어: Continuous Batching 연속 배칭, PagedAttention 페이지 방식 어텐션, Prefill 입력 문맥 처리 단계, Decode 토큰 생성 단계, Prefix caching 공통 입력 앞부분 캐시 재사용, Context Compaction 문맥 압축, Disaggregated Serving 분리형 추론 서비스, KV cache 키와 값 캐시