같은 작업과 평가 자료를 먼저 정합니다

문장 분류, 답변 생성과 이미지 이해는 필요한 모델과 계산 경로가 다릅니다. 비교할 작업의 정답 또는 평가 기준과 대표 입력을 먼저 정합니다. 학습이나 보정에 사용한 자료를 그대로 최종 평가 자료로 쓰면 성능을 과대평가할 수 있습니다.

정확도 외에 허용 지연과 동시 요청 수 및 데이터 처리 위치를 기록합니다. 오프라인이 필요한지, 외부 서버 전송이 허용되는지도 모델 선택과 함께 결정해야 합니다.

파일 크기와 실행 메모리를 구분합니다

가중치 파일 외에도 활성값, 실행 버퍼와 KV cache 등에 메모리가 필요합니다. MoE 모델은 활성 파라미터가 적더라도 전체 가중치를 저장하는 문제가 남습니다. 긴 문맥과 여러 동시 요청은 메모리 요구를 늘릴 수 있습니다.

양자화한 가중치의 비트 수만으로 전체 메모리를 계산하지 않습니다. 사용하는 실행 엔진과 장치의 형식 지원, 캐시 정책 및 실제 최고 사용량을 확인합니다. 메모리 부족으로 다른 계층을 사용하는 경우 지연이 달라질 수 있습니다.

PTQ와 QAT는 수치 표현을 낮추는 과정이고 LoRA 및 QLoRA는 학습 구성을 바꾸는 접근입니다. 지식 증류는 교사의 신호로 학생을 학습시키며 추측 디코딩은 생성 과정의 반복을 줄이려는 기법입니다. 이름이 다르면 무엇을 줄이는지도 다릅니다.

적용 전후의 품질과 처리 시간을 같은 조건으로 비교합니다. 작은 모델을 쓰거나 비트 수를 줄인 결과가 업무에서 허용 가능한지 확인한 뒤 비용과 속도의 이점을 평가합니다.

모델 및 어댑터 버전, 실행 엔진과 드라이버, 장치 메모리, 입력 및 출력 길이와 동시 요청 수를 기록합니다. 첫 토큰까지의 시간, 출력 속도와 전체 완료 시간을 따로 측정하면 병목을 구분하기 쉽습니다.

단일 요청의 빠른 결과를 다중 사용자 처리량으로 확대하지 않습니다. 같은 평가에서 정확도와 오류율도 함께 확인하고, 성능 숫자의 단위와 측정 범위를 명시합니다.