Inference 모델 추론

모델 추론은 학습된 모델을 새 입력에 적용해 예측이나 결과를 얻는 과정입니다. 학습을 통해 모델 가중치를 조정하는 과정과 구별하며 이 문서에서는 사람의 논리적 추리 일반이 아닌 AI 실행 단계의 의미로 사용합니다.

입력을 모델이 처리할 수 있는 형태로 바꾸고 모델 연산을 실행한 뒤 결과를 해석합니다. 생성형 언어 모델에서는 입력 문맥을 처리하는 prefill과 이어지는 토큰을 생성하는 decode를 나눠 설명할 수 있습니다. 모델의 모든 추론이 같은 순서나 구조를 사용하는 것은 아닙니다.

학습된 문장 분류기가 새 문장의 범주를 정하는 것도 추론입니다. 챗봇이 답변 토큰을 생성하는 것도 추론이지만 계산량과 응답 방식은 다릅니다. 추론이 수행됐다는 사실 자체는 결과가 사실에 맞다는 증거가 아닙니다.

기기 내 실행과 서버 실행은 계산 위치의 구분이고, 배치와 실시간 처리는 요청 처리 방식의 구분입니다. 양자화, 캐시 및 추측 디코딩은 추론 비용을 바꾸는 기술입니다. 추론 시 추가 계산을 쓰는 방식과 모델을 다시 학습하는 방식도 구분합니다.

첫 응답까지 걸린 시간, 출력 속도, 동시 요청 처리량과 전체 완료 시간을 나눠 측정합니다. 메모리, 모델 형식, 하드웨어 및 입력 길이를 함께 기록해야 비교가 가능합니다. TOPS 수치만으로 애플리케이션의 추론 시간을 확정할 수 없습니다.

huggingface.co: hf