지우라고 한 것과 모델이 외운 것이 다르다

배경

LLM 은 개인정보가 섞인 방대한 데이터로 학습되기 때문에 배포 이후 민감한 내용을 흘릴 수 있습니다. 이를 사후에 제거하는 방법이 LLM unlearning 이고, 지울 대상으로 미리 지정한 데이터를 forget set 이라 부릅니다. 기존 연구는 이 집합이 주어졌다고 보고 그 위에서 어떤 망각 알고리즘이 더 나은지를 겨뤄 왔습니다.

현실의 삭제 요청은 그렇게 깔끔하지 않습니다. 어떤 사람이 LLM 이 자기 정보를 말한다는 사실을 알고 삭제를 요청한다고 해 보겠습니다. 무엇을 지워 달라고 특정할 수는 있지만, 모델이 실제로 무엇을 외웠는지는 볼 수 없습니다. 원래 학습 데이터에 접근할 수 없기 때문입니다.

지워 달라고 말할 수는 있어도, 모델이 무엇을 외웠는지는 볼 수 없습니다.

본 논문은 이 어긋남을 forget-set misalignment 라 부르고 두 가지 실패 유형으로 나눕니다. Under Unlearning 은 모델이 외운 민감 정보가 요청에서 빠진 경우입니다. 망각 효과가 요청된 사실 주변에 머물고 연결된 엔티티 수준 지식까지 번지지 않아 핵심적인 누출 위험이 그대로 남습니다. Out-of-Knowledge Unlearning 은 반대로 모델이 학습한 적 없는 정보가 요청에 들어간 경우입니다. 배운 적 없는 것을 지우라는 신호가 파라미터를 불필요하게 흔들어 일반 성능을 떨어뜨립니다. 두 현상 모두 특정 최적화 기법을 잘못 골라서 생기는 것이 아니라 망각 목표 자체가 어긋나서 생긴다는 점을 gradient 수준 분석으로 보였습니다.

제안 방법

CONFS(CONfession-to-Forget-Set)는 원본 학습 데이터를 보지 않고 forget set 을 만듭니다. 출발점은 모델에게 직접 묻는 것입니다. 대상 인물에 대해 아는 것을 모두 말해 보라고 해서, 모델이 외운 내용을 밖으로 꺼냅니다. 이 단계가 confession 입니다.

꺼낸 진술은 형태가 제각각이라 그대로는 지울 단위로 쓸 수 없습니다. 그래서 Subject-Relation-Object(SRO) 삼중항으로 구조화해 검증 가능한 최소 단위로 쪼갭니다. 한 번 물어서 다 나오는 경우도 드뭅니다. 그래서 처음 진술에서 얻은 핵심 속성을 단서로 삼아 숨은 세부를 다시 캐묻는 reconfession 을 재귀적으로 반복합니다. 삼중항 구조화와 질문 생성에는 외부 지식 없이 GPT-4o 를 사용합니다.

마지막은 환각을 걸러 내는 일입니다. 모델이 실제로 외우지 않은 항목을 forget set 에 넣으면 그것이 곧 Out-of-Knowledge Unlearning 이 됩니다. SelfCheckGPT 방식을 따라 각 질문에 대해 여러 답을 무작위로 뽑고, DeBERTa-v3-large NLI 모델로 매긴 평균 모순 확률이 임계값 0.7 미만인 항목만 남깁니다.

실험 설정

벤치마크

합성 데이터 TOFU, 멀티모달 CLEAR, 실존 인물 RWKU. TOFU 는 가상 작가 200명 프로필에서 대상의 10%를 언러닝하고, CLEAR 는 같은 프로토콜의 시각·언어 확장이며, RWKU 는 실존 공인 상위 10 엔티티를 하나씩 처리

모델

TOFU 와 RWKU 는 LLaMA-2-7B-Chat, CLEAR 는 LLaVA-1.5-7B

망각 알고리즘

GA, GD, NPO, RT 네 가지

비교 대상

원본 학습 데이터를 그대로 쓰는 Gold-standard, 자유 회상 방식 FreeRecall-QA, 그리고 RWKU-style 구성

결과

1. TOFU 10% 설정의 GA 기준으로, CONFS 가 만든 forget set 의 망각 성능은 원본 학습 데이터를 쓴 Gold-standard 에 근접했습니다. forget 확률이 CONFS 0.346, Gold-standard 0.327 이었습니다. 학습 데이터를 보지 않고 만든 다른 구성은 FreeRecall-QA 0.511, RWKU-style 0.421 로 훨씬 덜 지웠습니다. 언러닝 전 모델은 0.990 입니다.
2. 남겨야 할 지식은 오히려 더 잘 지켰습니다. 같은 설정의 retain 확률이 CONFS 0.615 로 Gold-standard 0.360, FreeRecall-QA 0.517, RWKU-style 0.394 를 모두 웃돌았습니다. 지울 것은 Gold-standard 만큼 지우면서 남길 것은 더 남긴 셈입니다.
3. GA, GD, NPO, RT 네 알고리즘 전반에서, 원본 데이터를 쓸 수 없는 조건일 때 CONFS 가 망각과 유용성 사이 균형이 가장 좋았습니다. Retain 뿐 아니라 Real Authors 와 World Facts 성능도 다른 data-blind 구성보다 잘 보존했습니다.
4. 멀티모달 환경인 CLEAR 에서도 같은 균형이 유지됐습니다. RWKU 에서는 벤치마크가 제공하는 forget set 을 CONFS 로 바꾸자 GA, NPO, RT 전부에서 망각이 개선되면서 Neighbor 집합 성능은 비슷하게 유지됐고, 하위 작업 성능과 멤버십 추론 공격 지표도 유지되거나 좋아졌습니다.

의의

forget set 을 주어진 것으로 놓고 알고리즘만 겨루는 대신, 무엇을 지울지부터 모델의 기억에 맞추면 결과가 달라집니다. CONFS 는 대상 모델 자신의 출력만 쓰고 새로운 정보를 넣지 않기 때문에, 원본 학습 데이터를 볼 수 없는 실제 삭제 요청 상황에 그대로 적용됩니다. 다만 적용 범위는 엔티티에 관한 사실 지식처럼 SRO 단위로 구조화할 수 있는 기억이며, 긴 서사나 절차적 지식으로 넓히려면 별도의 정식화가 필요합니다.