공격은 성공했는데 사용자는 모른다

배경

도구를 쓰는 LLM 에이전트는 이제 송금, 메일 발송, 자격증명 변경처럼 현실에 영향을 주는 행동을 직접 수행합니다. 복잡한 작업을 다루기 위해 대부분 ReAct 형식의 반복 구조를 따릅니다. 사용자의 요청을 해석하고, 도구를 호출하고, 돌아온 결과를 읽는 과정을 되풀이한 뒤 마지막에 응답을 내놓는 방식입니다.

에이전트가 읽는 도구 결과는 공격자가 명령을 끼워 넣는 통로이기도 합니다. 이메일, 검색 결과, 문서 같은 외부 콘텐츠에 악성 지시를 심어 두면 에이전트는 이를 도구 관측값으로 읽고 그대로 따릅니다. 예컨대 거래 내역 안에 사용자 비밀번호를 바꾸라는 지시가 숨어 있으면, 에이전트는 사용자의 원래 질문에 답하면서 그 지시를 조용히 수행합니다. 이것이 indirect prompt injection(IPI)입니다.

이 분야의 표준 지표는 공격 성공률(ASR)입니다. 주입된 tool call 이 실행되기만 하면 성공으로 셉니다. 그런데 보안 관점에서는 사용자가 그 사실을 알아챘는지도 중요합니다. 알아채지 못하면 이미 침해된 시스템을 계속 신뢰하게 되고, 탐지하거나 대응할 기회 자체가 사라집니다. 같은 성공이 전혀 다른 사용자 경험을 낳는 셈입니다. 본 논문은 여기서 질문 하나를 던집니다.

에이전트가 공격자의 지시를 조용히 따랐습니다. 사용자는 과연 알게 될까요?

이 질문에 따라 성공한 주입을 둘로 나눕니다. 최종 응답에 아무 흔적을 남기지 않는 covert success 와, 응답만 보고도 사용자가 알아챌 수 있는 overt success 입니다. 주입 성공 여부를 s, 최종 응답이 그 주입을 드러내는지를 a 로 두면 covert 는 s=1, a=0 이고 overt 는 s=1, a=1 입니다. 각각의 비율이 CSR 과 OSR 이며, 성공한 주입은 반드시 둘 중 하나에 속하므로 ASR 은 CSR 과 OSR 의 합으로 분해됩니다.

제안 방법

지표를 실제로 계산하려면 먼저 a 를 판정할 수단이 있어야 합니다. 환경을 들여다보는 것으로는 부족하고 에이전트의 최종 응답 텍스트를 직접 읽어야 합니다. 공개는 다른 말로 바꿔 표현되거나 암시적으로 이루어질 수 있어서 개체명 대조만으로는 잡히지 않습니다. 그래서 GPT-4o 를 감사자로 두어 주입된 작업과 사용자 작업을 함께 주고 응답이 주입을 드러내는지 판단하게 했습니다. 한 심판의 편향이 아님을 확인하기 위해 Claude 4.5 Haiku 판정 및 사람이 라벨링한 궤적과 대조했습니다.

다음은 같은 공격이 왜 두 결과로 갈리는지입니다. 기존 공격들이 성공시킨 궤적 2,087건을 모아, 에이전트의 각 단계를 사용자 작업 상태, 주입 작업 상태, 최종 응답 상태 셋으로 묶어 이동 패턴을 봤습니다. 주입 작업을 처리한 뒤 에이전트는 사용자 작업으로 돌아가거나(RETURN) 곧장 응답으로 넘어갑니다(EXIT). 두 결과는 이 갈림길에서 정확히 반대로 갈렸습니다. overt 궤적 1,090건 중 70.92%가 EXIT 였고, covert 궤적 997건 중 67.70%가 RETURN 이었습니다. 최종 응답이 가장 최근에 처리한 작업을 요약하는 ReAct 형식에서 따라 나오는 구조적 결과입니다.

ICoA(Induced Covert Attack)는 이 구조를 그대로 겨냥합니다. 주입 작업을 두 지시문 사이에 끼워 페이로드를 만듭니다. 앞의 user framing 은 주입을 사용자의 후속 요청처럼 보이게 해 에이전트가 사용자 지시로 취급하게 만들고, 뒤의 RETURN anchor 는 주입을 먼저 처리한 다음 사용자의 원래 요청으로 돌아가라고 지시합니다. 그 결과 주입은 궤적 중간에 놓이고 마지막 행동은 사용자 작업이 됩니다. RETURN anchor 는 특정 공격 문구에 기대지 않아 기존 IPI 공격에 그대로 덧붙일 수도 있습니다.

실험 설정

벤치마크

AgentDojo v0.1.34 의 네 개 suite 전체. 사용자 작업과 주입 작업 949쌍 (Banking 144, Slack 105, Travel 140, Workspace 560)

타깃 모델

공개 가중치 Qwen3-235B, LLaMA-3.3-70B(Ollama, temperature 0)와 상용 GPT-4o-mini, Gemini-2.5-Flash

비교 공격

Direct, InjecAgent, Important message(AgentDojo 최강 baseline), ChatInject

방어

탐지 기반 PI Detector 와 프롬프트 기반 Instruction Prevention, Data Delimiters, User Instruction Repetition

결과

1. ICoA 는 네 모델 전부에서 CSR 1위였습니다. 기존에 주입을 가장 잘 숨기던 Important message 와 비교해 모든 모델에서 CSR 이 올랐고, 상승폭은 3.79%p 에서 12.01%p 사이였습니다. 가장 크게 오른 LLaMA-3.3-70B 에서는 11.80%에서 23.81%가 되었습니다.
2. 높은 ASR 이 곧 은밀함을 뜻하지는 않았습니다. 같은 LLaMA-3.3-70B 에서 ChatInject 는 ASR 32.14%로 만만치 않은 실행력을 보였지만 CSR 은 2.63%에 그쳐, 성공한 주입 대부분이 응답에 그대로 드러났습니다. ICoA 는 ASR 32.46%로 실행력이 같은 수준인데 CSR 은 23.81%였습니다. 주입을 실행하는 능력과 그것을 숨기는 능력이 서로 다른 문제라는 뜻입니다.
3. RETURN anchor 만 떼어 기존 공격에 덧붙여도 효과가 있었습니다. 이것만으로 CSR 이 최대 23.71%p 올랐습니다. covert success 가 우연의 산물이 아니라 설계로 유도할 수 있는 결과임을 보여 줍니다.
4. 방어를 걸어도 순위는 유지됐습니다. 평가한 탐지 기반 및 프롬프트 기반 방어 전부에서 ICoA 가 CSR 1위를 지켰습니다.

의의

ASR 하나로는 주입을 실행하는 능력과 그것을 사용자에게 숨기는 능력이 구분되지 않습니다. 두 능력이 실제로 갈라진다는 것을 네 모델에서 확인했고, 숨기는 쪽은 ReAct 궤적을 조작해 의도적으로 끌어낼 수 있었습니다. IPI 를 평가할 때 사용자 관점의 지표를 따로 두어야 한다는 것이 이 논문의 결론입니다.