ICoA 논문, EMNLP 2026 구두 발표 선정

DAMI Lab의 이윤석·김윤지 학생과 이우진 교수가 작성한 논문 “Will the User Ever Know? Covert Indirect Prompt Injection Attacks on Tool-Using LLM Agents”가 EMNLP 2026 구두 발표(Oral Presentation) 논문으로 선정되었습니다.

올해 EMNLP에는 총 17,669편의 논문이 제출됐으며, 이 가운데 462편이 구두 발표 대상으로 선정되었습니다. 전체 제출 논문의 약 2.6%에 해당합니다.

이 논문은 도구를 사용하는 LLM 에이전트가 프롬프트 주입 공격을 받았을 때, 사용자가 최종 응답에서 공격 사실을 알아챌 수 있는지를 다룹니다. 에이전트가 악성 지시를 실행하고도 정상적인 응답을 돌려주면 사용자는 공격이 일어났다는 사실을 모를 수 있습니다.

연구진은 공격 사실이 최종 응답에 드러나는 경우와 드러나지 않는 경우를 구분해 평가했습니다. 이어 악성 지시를 실행한 에이전트를 사용자의 원래 작업으로 돌아가게 하는 공격 방법 ICoA(Induced Covert Attack)를 제안하고, 최종 응답에 공격 흔적이 남지 않는 위험을 분석했습니다.

이번 연구에는 이윤석·김윤지 학생이 공동 1저자로, 이우진 교수가 교신저자로 참여했습니다. EMNLP 2026은 10월 24일부터 29일까지 헝가리 부다페스트에서 열립니다.