Encode-Prefill-Decode Disaggregation 입력 부호화, 문맥 처리와 토큰 생성의 분리

사진과 영상 등의 입력을 모델이 사용할 표현으로 바꾸는 단계까지 분리하여, 문맥 처리 및 토큰 생성과 독립적으로 배치하는 멀티모달 추론 구조입니다.

사진이나 영상이 포함된 요청은 언어 모델의 입력 처리 전에 미디어 전처리와 시각 표현 계산이 필요할 수 있습니다. 이 작업을 긴 문맥 처리와 같은 대기열에서 수행하면 다른 요청이 영향을 받을 수 있습니다.

입력 부호화 작업자와 언어 모델 작업자의 자원 배치 및 대기열을 나누는 방식으로 이런 경합을 조절합니다. 부호화 결과의 전달과 캐시 재사용이 필요하며 전체 요청 중 어떤 단계가 병목인지 먼저 확인해야 합니다.

사진 자료를 읽어 정리하는 작업과 그 내용을 바탕으로 글을 작성하는 작업을 나누는 예시입니다. 사진이 많아 첫 작업이 밀리는 상황에 도움이 될 수 있지만 글 작성 자체가 오래 걸리는 상황에서는 다른 판단이 필요합니다.

같은 장치에 별도 작업자로 배치

입력 부호화와 언어 처리 작업자를 나누되 같은 장치 자원을 공유합니다. 물리 장치 분리와는 다릅니다.

장치 계층을 나누어 배치

입력 부호화에 맞는 장치 집합과 언어 처리 장치 집합을 따로 둡니다. 결과 전달 비용과 장치별 활용률을 함께 봅니다.

여러 사진이나 영상을 포함하는 요청, 글과 영상 요청이 섞인 서비스에서 검토할 수 있습니다. 입력 부호화가 차지하는 시간, 출력 길이와 모델 정밀도에 따라 효과가 달라집니다.

NVIDIA의 2026년 9월 기술 설명은 적용 조건과 비교 환경을 제시합니다. 이를 모든 모델과 네트워크에 같은 성능 향상을 약속하는 근거로 사용하지 않습니다.

일반적인 영상 파일 압축이나 영상 신호 인코딩 규격을 뜻하지 않습니다. 여기서는 모델 입력 표현을 계산하는 단계를 가리킵니다.

추론을 빠르게 제공하는 구조와 생성된 결과의 정확성 또는 실제 장비 제어 안전성은 별도로 확인합니다.

영상이 없는 대화에도 반드시 필요한가요?

시각 입력이 없거나 그 처리 비중이 작으면 이 분리의 이점도 제한적일 수 있습니다. 요청 구성과 실제 지연을 확인해야 합니다.

각 단계를 전부 다른 장치에서 실행해야 하나요?

같은 장치에 작업자를 나누는 구성도 있습니다. 단계의 논리적 분리와 물리 장치의 분리는 구분해야 합니다.

2026년 9월 9일 공식 기술 설명의 구조와 적용 조건을 기준으로 정리했습니다.

최종 검토일: 2026-10-25

NVIDIA: 멀티모달 추론 단계 분리

함께 이해할 용어: Disaggregated Serving 분리형 추론 서비스, Prefill 입력 문맥 처리 단계, Decode 토큰 생성 단계, KV cache 키와 값 캐시, Quantization 모델 양자화, Inference 모델 추론, Prefix caching 공통 입력 앞부분 캐시 재사용, KV-Aware Routing 키와 값 캐시를 고려한 요청 분배