Disaggregated Serving 분리형 추론 서비스

언어 모델의 입력 문맥 처리와 토큰 생성 단계를 서로 다른 처리 자원이나 작업자 집합에서 수행하도록 분리하는 추론 제공 구조입니다.

입력 문맥 처리 단계에서는 요청의 입력을 계산해 이후 생성에서 사용할 키와 값 캐시를 준비합니다. 토큰 생성 단계에서는 이 상태를 이용해 출력을 이어갑니다. 두 단계의 자원 요구와 병목이 달라 독립 배치를 검토할 수 있습니다.

분리된 단계 사이에는 캐시 상태를 전달하거나 접근하게 하는 경로가 필요합니다. 단계별 장치 배치만으로 완성되지 않으며 캐시 전달, 요청 연결, 부하 분산과 실패 처리가 함께 맞아야 합니다.

자료를 먼저 준비하는 담당자와 그 자료로 답변을 작성하는 담당자를 나누는 예시로 이해할 수 있습니다. 준비한 자료를 넘기는 시간이 길면 담당자를 나눈 효과가 줄어드는 것처럼 상태 전달 비용도 중요합니다.

통합 배치

같은 작업자가 입력 처리와 생성을 담당합니다. 구성과 상태 전달이 단순하지만 두 작업이 자원을 두고 경쟁할 수 있습니다.

단계별 분리 배치

입력 처리와 생성 작업자 수를 따로 조절합니다. 긴 입력과 동시 요청 같은 실제 부하에 맞춰 자원을 나눌 수 있습니다.

긴 입력이나 다수의 동시 요청으로 두 단계의 부하가 달라지는 서버에서 검토할 수 있습니다. 실제 효과는 모델 크기, 문맥 길이, 출력 길이와 연결 대역폭에 따라 달라집니다.

짧은 요청과 낮은 동시 처리량에서는 상태 전달 및 자원 분할 부담이 더 클 수 있습니다. 특정 공급사 환경의 향상 수치를 일반 컴퓨터나 다른 모델에 그대로 적용하지 않습니다.

입력 문맥 처리와 토큰 생성은 단계의 이름이고, 분리형 추론 서비스는 그 단계의 배치를 나누는 구조입니다.

단계를 분리해도 항상 빨라지거나 메모리가 자동으로 합쳐지는 것은 아닙니다.

그래픽 처리 장치 두 개만 연결하면 되나요?

단계별 실행을 지원하는 추론 엔진과 캐시 전달 및 요청 연결 구성이 필요합니다. 장치 수만으로 지원 여부나 성능을 판정할 수 없습니다.

캐시를 고려한 요청 분배와 같은 기능인가요?

분리형 추론은 어느 단계가 어느 자원에서 실행되는지에 관한 구조입니다. 캐시 기반 요청 분배는 재사용 가능한 상태와 부하에 따라 요청 대상을 고르는 방식이며 함께 사용할 수 있습니다.

검토 근거는 Dynamo 1.2.0 안내입니다. 백엔드와 실행 도구마다 지원 구성이 다릅니다.

최종 검토일: 2026-10-25

NVIDIA: 입력 처리와 생성의 분리 구조

함께 이해할 용어: Prefill 입력 문맥 처리 단계, Decode 토큰 생성 단계, KV cache 키와 값 캐시, KV-Aware Routing 키와 값 캐시를 고려한 요청 분배, RDMA 원격 직접 메모리 접근, Inference 모델 추론, Prefix caching 공통 입력 앞부분 캐시 재사용, Encode-Prefill-Decode Disaggregation 입력 부호화, 문맥 처리와 토큰 생성의 분리