용어와 정의
영문 또는 원어: Context Compaction
한글명: 문맥 압축
긴 대화나 작업 기록의 일부를 요약된 표현으로 바꾸어, 모델이 처리할 현재 문맥을 관리하는 방식입니다. 파일을 원래대로 복원하는 무손실 압축과는 목적과 결과가 다릅니다.
정확한 의미와 동작 원리
언어 모델에는 한 번에 참조할 수 있는 입력 범위가 있습니다. 작업이 길어지면 이전 대화, 도구 결과와 지시가 쌓이므로 앞으로 필요한 결론과 진행 상태를 추려 새 문맥으로 이어가는 처리가 필요할 수 있습니다.
요약 과정에서는 세부 정보가 빠지거나 표현이 달라질 수 있습니다. 압축된 문맥은 원본 기록의 대체 보관소가 아니며, 정확한 수치나 승인 범위처럼 다시 확인할 정보는 원문 및 별도 작업 기록과 연결해 두어야 합니다.
쉽게 이해하기
긴 회의의 다음 회차에 앞선 결정 사항을 정리해 가져가는 상황과 비슷합니다. 회의록 전체를 읽지 않아도 이어갈 수 있지만, 요약에 빠진 조건은 원래 회의록에서 확인해야 합니다. 이는 이해를 돕는 예시입니다.
종류와 버전 및 관련 방식의 차이
자동 압축
도구가 정한 문맥 사용량이나 정책에 따라 요약을 수행합니다. 적용 기준과 지원 모델은 해당 구현의 문서에서 확인합니다.
명시적으로 요청하는 압축
응용 프로그램이 시점을 정해 요약을 요청합니다. 언제 요약하고 어떤 원본을 별도 보존할지 설계할 수 있습니다.
적용 대상과 조건
장시간 코딩, 자료 조사와 여러 도구를 사용하는 에이전트 작업에서 활용할 수 있습니다. 대화가 길다는 이유만으로 무조건 압축하는 것이 아니라 필요한 정보의 지속성과 요약 비용을 함께 고려합니다.
세션을 넘어 보존하는 에이전트 기억, 외부 문서를 다시 찾는 검색 증강 생성, 이미 계산한 입력을 재사용하는 캐시는 서로 다른 기능입니다. 문맥 압축을 사용했다고 이 기능들이 자동으로 제공되지는 않습니다.
오해하기 쉬운 점
원문과 모든 지시가 손실 없이 유지된다고 설명하지 않습니다. 요약된 승인 내용을 실제 승인 기록 대신 사용하지 않습니다.
압축 자체에 공통 규격 버전이 있는 것으로 표현하지 않습니다. 사용하는 제품의 문서 판과 모델 지원 조건을 확인합니다.
자주 묻는 질문
압축하면 이전 파일이나 대화가 삭제되나요?
현재 모델에 전달되는 문맥과 원본 저장소는 구분해야 합니다. 실제 삭제 또는 보존 여부는 사용하는 서비스와 응용 프로그램의 기록 정책을 확인해야 합니다.
입력 한도가 큰 모델이면 필요 없나요?
입력 한도와 긴 기록의 관리 품질은 별개입니다. 원본 정확성, 작업 상태와 비용을 고려해 문맥 구성을 정하며 특정 입력 크기만으로 필요 여부를 단정하지 않습니다.
공식 근거와 적용 판
함께 비교할 용어의 상세 설명
관련 용어와 글
함께 이해할 기준 개념
함께 비교할 용어
- Agent Memory 에이전트 기억
- Disaggregated Serving 분리형 추론 서비스
- Encode-Prefill-Decode Disaggregation 입력 부호화, 문맥 처리와 토큰 생성의 분리
- KV-Aware Routing 키와 값 캐시를 고려한 요청 분배
- MXFP4 마이크로스케일링 4비트 부동소수점 형식
- Unified Memory Architecture 통합 메모리 아키텍처
- Continuous Batching 연속 배칭
- Chunked Prefill 분할 입력 처리
- PagedAttention 페이지 방식 어텐션
- Model Routing 모델별 요청 분배
- Context engineering 문맥 구성 설계
- KV cache 키와 값 캐시
- Quantization 모델 양자화