KV-Aware Routing 키와 값 캐시를 고려한 요청 분배

요청의 입력과 재사용 가능한 키와 값 캐시 및 현재 부하를 고려해, 추론을 맡길 작업자를 선택하는 방식입니다. 인터넷 경로를 결정하는 일반 라우팅과 적용 대상이 다릅니다.

동일한 입력 앞부분을 이미 계산한 작업자에게 요청을 보내면 해당 계산을 일부 재사용할 수 있습니다. 어느 작업자가 어떤 캐시 상태를 가지고 있는지 알 수 있어야 이런 선택을 할 수 있습니다.

캐시가 많은 작업자에게 요청을 계속 몰아주면 다른 병목이 생길 수 있습니다. 재사용 이점과 현재 처리 중인 입력 및 생성 부하를 함께 고려하는 것이 중요합니다.

업무 자료를 이미 읽은 담당자에게 후속 질문을 맡기는 상황과 비슷합니다. 다만 그 담당자에게 일이 너무 많이 쌓여 있다면 다른 담당자를 고르는 편이 나을 수도 있습니다. 실제 시스템의 판단 방식은 구현에 따릅니다.

순차 또는 부하 중심 분배

작업자를 순서대로 고르거나 현재 부하를 기준으로 선택합니다. 입력 앞부분의 캐시 재사용 여부를 반드시 고려하지는 않습니다.

캐시와 부하를 함께 고려한 분배

캐시의 입력 중복 정도와 이미 배정한 작업량을 함께 평가합니다. 상태 보고와 선택 정책이 서로 맞아야 합니다.

공통 시스템 지시나 반복되는 문서 문맥을 사용하는 분산 추론에서 검토할 수 있습니다. 실제 캐시를 보고하는 기능, 모델과 입력의 일치 조건을 확인해야 합니다.

캐시가 다른 사용자 또는 업무의 내용을 포함할 수 있는 환경에서는 검색 및 재사용의 권한 경계를 함께 설계합니다. 캐시 적중률을 높이기 위해 접근 범위를 임의로 넓히지 않습니다.

공통 입력 앞부분의 캐시 재사용은 기존 용어와 연결하고, 이 글에서는 요청 대상을 선택하는 판단을 설명합니다.

캐시를 찾았다는 사실만으로 답변이 사실이거나 최신이라고 판정하지 않습니다.

캐시가 있는 서버가 항상 선택되나요?

처리 부하나 사용 가능한 자원에 따라 다른 작업자가 선택될 수 있습니다. 캐시 보유 여부만으로 대상이 고정되는 방식으로 이해하면 안 됩니다.

분리형 추론에서만 쓰나요?

캐시를 기준으로 요청 대상을 고르는 방식과 처리 단계를 분리하는 구조는 다른 개념입니다. 지원하는 추론 제공 구조와 도구의 조건을 확인해야 합니다.

지원 백엔드와 캐시 상태 보고 및 부하 평가 방식은 구현 문서에 따릅니다.

최종 검토일: 2026-10-25

NVIDIA: 캐시 상태와 부하를 고려한 요청 분배

NVIDIA: 입력 처리와 생성의 분리 구조

함께 이해할 용어: KV cache 키와 값 캐시, Prefix caching 공통 입력 앞부분 캐시 재사용, Disaggregated Serving 분리형 추론 서비스, Authorization 권한 부여, Inference 모델 추론, Prefill 입력 문맥 처리 단계, Decode 토큰 생성 단계, Encode-Prefill-Decode Disaggregation 입력 부호화, 문맥 처리와 토큰 생성의 분리