답변보다 먼저 찾은 근거를 확인합니다

대표 질문에 필요한 원문 문서와 해당 구절을 정합니다. 검색 단계가 필요한 자료를 찾았는지와 모델이 그 자료를 올바르게 사용했는지를 나눠 평가합니다. 답변 문장이 자연스럽다는 이유로 검색이 정확했다고 판단하지 않습니다.

문서의 버전과 적용 대상 및 접근 권한을 함께 기록합니다. 오래된 문서가 최신 문서보다 상위에 나오는지, 권한 없는 문서가 후보에 섞이는지를 확인해야 합니다.

질문의 종류에 따라 검색을 비교합니다

정확한 모델 번호와 코드가 중요한 질문은 키워드 일치가 중요할 수 있습니다. 표현이 다른 같은 의미를 찾는 질문에는 벡터 검색이 도움이 될 수 있습니다. 혼합 검색은 두 방식의 후보를 결합하고 필요하면 재정렬합니다.

GraphRAG는 여러 자료에 흩어진 대상과 관계를 활용할 때 검토할 수 있습니다. 모든 질문에 그래프가 필요한 것은 아니며 인덱스 구성과 갱신 비용도 함께 비교해야 합니다.

원문을 바꾸면 텍스트 조각뿐 아니라 임베딩, 관계 정보와 요약이 영향을 받을 수 있습니다. 삭제되거나 권한이 바뀐 문서의 정보가 생성된 요약에 남아 있는지도 확인합니다. 색인 완료와 오래된 파생 정보의 제거를 구분합니다.

다단계 검색을 하는 Agentic RAG에서는 각 검색의 이유와 사용한 자료 및 종료 조건을 남깁니다. 외부 자료 안의 지시가 도구 실행 권한을 바꾸지 않도록 처리 경계를 유지합니다.

자료를 못 찾은 경우, 다른 버전을 찾은 경우, 맞는 자료를 잘못 해석한 경우와 근거 없는 말을 덧붙인 경우를 나눕니다. 오류 종류에 따라 검색, 문서 구조 또는 생성 단계의 수정 지점이 달라집니다.

같은 질문 집합으로 변경 전후를 비교하고 새 문서가 들어오면 영향받는 질문을 추가합니다. 수집한 문서의 수나 색인 크기를 답변 품질의 완료 기준으로 사용하지 않습니다.