Speculative decoding 추측 디코딩

추측 디코딩은 후보 토큰을 먼저 제안하고 목표 모델이 이를 검증하는 방식으로 생성 과정을 가속하는 기술입니다. 작은 모델의 응답을 검증 없이 최종 답변으로 사용하는 방법과 구별됩니다.

자동 회귀 모델은 앞선 토큰을 참고하며 다음 토큰을 생성합니다. 추측 디코딩에서는 초안 모델이나 다른 제안 방식이 여러 후보를 만들고 목표 모델이 한 번에 검증할 수 있는 범위를 늘립니다. 받아들이지 않은 후보는 정해진 절차에 따라 버리거나 다시 생성합니다.

큰 모델이 답변하는 서비스에서 짧은 후보 묶음을 작은 모델로 제안하는 구성을 생각할 수 있습니다. 후보가 많이 채택되면 목표 모델의 반복 호출 부담을 줄일 수 있지만 채택률이 낮으면 제안 비용 때문에 이점이 작아질 수 있습니다.

별도 초안 모델, 모델 내부의 추가 예측 기능 및 다른 제안 방식 등 구현이 나뉩니다. 목표 분포를 보존하도록 설계한 정확한 수락 절차와 근사적 가속 기법을 구분해야 합니다. 모든 이름에 speculative가 들어간 구현이 같은 통계적 보장을 갖는 것은 아닙니다.

실제 속도는 초안 생성 비용, 채택률, 입력 길이, 배치와 메모리에 달려 있습니다. 목표 모델의 환각이나 권한 문제를 해결하는 안전 검증 기술은 아닙니다. 검증이라는 표현은 토큰 생성 절차의 검증이며 답변 사실성의 검증과 다릅니다.

developer.nvidia.com: optimize