Context window 문맥 처리 범위

문맥 처리 범위는 모델이 한 번의 처리에서 참고할 수 있는 입력과 생성 문맥의 한도를 설명하는 개념입니다. 보통 토큰 수로 표시하며 장기 저장 공간이나 사람이 기억하는 모든 대화의 양과 같은 뜻은 아닙니다.

시스템 지시, 사용자 메시지, 대화 이력과 도구 결과 등도 문맥을 차지할 수 있습니다. 모델과 API에 따라 입력 및 출력 한도를 계산하는 방식이 다르므로 표시된 숫자를 전부 문서 입력에 사용할 수 있다고 단정하지 않습니다.

긴 설명서를 넣은 뒤 긴 답변도 요구하면 문맥 한도와 출력 한도를 함께 고려해야 합니다. 이전 대화를 요약해 남긴 경우 모델이 참고하는 것은 원문 전체가 아니라 요약에 포함된 정보일 수 있습니다. 화면에 대화가 보이는 것과 현재 모델 입력에 모두 포함된 것은 다릅니다.

모델의 최대 문맥 길이, 서비스가 허용하는 입력 길이와 실제로 유지한 문맥은 구분합니다. RAG는 관련 자료를 골라 입력에 넣는 접근이고 문맥 구성 설계는 지시와 자료 및 이력 전체를 관리합니다. KV cache는 처리한 상태를 재사용하는 계산 구성입니다.

더 긴 문맥이 언제나 더 높은 정확도를 뜻하지 않습니다. 오래되거나 서로 충돌하는 정보가 섞이면 답변이 나빠질 수 있고 메모리와 지연도 늘어납니다. 숫자 한도뿐 아니라 필요한 사실이 실제 답변에 반영되는지를 대표 질문으로 확인해야 합니다.

learn.microsoft.com: context