Prompt injection 프롬프트 주입 공격

프롬프트 주입 공격은 AI가 처리하는 입력이나 외부 자료에 악성 지시를 넣어 원래 의도와 다른 동작을 유도하는 공격입니다. 입력 자료의 내용이 작업 지시로 잘못 취급되는 문제가 핵심이며 일반적인 오답과 구별합니다.

모델이 웹페이지와 문서, 검색 결과나 도구 출력을 읽을 때 그 안의 문장을 지시처럼 받아들일 수 있습니다. 공격자는 이를 이용해 권한 밖의 행동이나 정보 노출을 유도하려고 합니다. 자료가 내부 시스템에서 왔다는 이유만으로 안전한 지시가 되는 것은 아닙니다.

문서를 요약하는 AI가 문서 안의 숨은 명령 때문에 원래 요청과 관계없는 도구를 호출하는 상황을 생각할 수 있습니다. 이는 공격 유형의 설명이며 특정 지유넷 장비나 고객 자료에서 실제 사고가 발생했다는 주장이 아닙니다.

직접 주입은 대화 입력 등을 통해 지시를 전달하고 간접 주입은 모델이 읽는 외부 자료에 지시를 심습니다. 가드레일은 위험을 줄이는 통제의 범주이며 접근 권한과 도구 실행 제한을 대체하지 않습니다. 탈옥, 정보 유출과 과도한 자율성은 관련되지만 각각 범위가 다릅니다.

외부 자료와 사용자 요청의 권한을 구분하고 필요한 도구와 데이터만 허용합니다. 입력과 출력 검사, 민감한 행동의 확인 및 실행 격리를 함께 적용합니다. 특정 문구를 거르는 필터나 강한 지시문 하나로 모든 공격이 차단된다고 보장하지 않습니다.

이 절의 용어: AI guardrails / 인공지능 보호 통제

AI 가드레일은 모델 입력과 출력 또는 도구 실행 과정에 적용하는 보호 통제의 범주입니다. 유해 내용 분류, 데이터 경계 검사, 실행 권한과 결과 검증 등 여러 방식이 포함될 수 있습니다. 하나의 필터 제품이나 완전한 안전 보증을 뜻하지 않습니다. 오탐과 누락을 평가하고 공격이 통과하더라도 피해 범위를 제한할 수 있도록 최소 권한 및 실행 격리와 함께 구성합니다.

OWASP Prompt Injection glossary

AI agent shared responsibility