안전은 궤적 전체가 아니라 한 걸음에서 갈린다

배경

VLM 기반 embodied agent 는 자연어 지시를 따라 여러 단계로 이루어진 과업을 수행합니다. 그런데 과업을 끝내는 것과 안전하게 끝내는 것은 다릅니다. 로봇이 행동하는 동안 환경 자체가 바뀌면서 새로운 위험이 생기기 때문입니다. 요리를 마친 뒤 가스레인지를 켜 둔 채 두거나, 젖은 손으로 콘센트를 만지는 식입니다. 최근 연구는 이를 상호작용 안전(interactive safety)이라 부릅니다.

이런 위험은 궤적 전체에 고르게 퍼지지 않고 몇 개의 안전 결정 단계에 몰립니다. 그 단계마다 궤적은 안전한 쪽과 위험한 쪽으로 갈라지고, 똑같은 과업이 무엇을 골랐느냐에 따라 안전하게도 위험하게도 끝납니다. 어디가 그 갈림길이고 거기서 무엇을 골라야 하는지가 안전 정렬의 핵심 문제입니다.

기존 접근은 대체로 배포 시점에 보조 모듈을 붙였습니다. 안전 검사기가 제안된 계획이나 행동을 실행 전에 살피거나, 탐색 기반 방법이 후보 행동들을 미리 평가해 고릅니다. 공통점은 배포된 뒤에도 매 단계마다 에이전트 옆에서 별도 모듈이 돌아간다는 것입니다.

에이전트 자체를 학습시키는 쪽도 쉽지 않습니다. 안전한 궤적을 그대로 따라 하게 하면 행동은 배우지만 그것이 왜 안전한지는 배우지 못합니다. 아무 안전 궤적과 위험 궤적을 맞세우면 안전 신호가 두 궤적의 무관한 차이들과 뒤섞입니다.

제안 방법

SafeBranch 는 에이전트 자신이 만들어 낸 위험한 실행에서 학습 데이터를 뽑습니다. 위반이 일어난 실행을 시뮬레이터에서 되감아 그 위반을 부른 안전 결정 단계로 돌아가고(environment rollback), 바로 그 지점에서 에이전트에게 안전한 대안 행동을 다시 묻습니다. 위반 판정과 되감을 지점 지정에는 GPT-4o 를 안전 비평자로 씁니다.

그러면 앞선 맥락이 완전히 같고 그 한 단계의 행동만 다른 두 갈래가 만들어집니다. 이것이 branch pair 입니다. 두 갈래의 차이가 안전을 가른 선택 하나로 좁혀지기 때문에, 단계 수준의 안전 신호가 다른 차이들과 섞이지 않습니다. 이 짝으로 선호 학습을 수행하는 것이 BranchPO 입니다.

학습 데이터를 만들 때 쓴 비평자 피드백은 모델 입력에서 제거하고, 안전한 행동을 원래 맥락에 다시 붙여 짝을 만듭니다. 피드백이 입력에 남으면 배포 시점에는 없는 단서에 에이전트의 안전 행동이 묶이기 때문입니다. 학습이 끝난 에이전트는 판정 모듈 없이 혼자 행동합니다.

실험 설정

벤치마크

IS-Bench 의 가정 과업 161개(과업 성공률 SR, 안전 성공률 SSR, 안전 재현율 SRec)와 SafetyALFRED 의 위험 포함 궤적 222개·위험 turn 617개(5개 위험 범주별 정확도). 시뮬레이터와 행동 공간, 위험 분류가 서로 달라 한 환경을 넘어서는지 확인할 수 있음

분포 밖 검증

IS-Bench 위에 장면을 축별로 교란해 만든 OOD-ObjectShift(방해 물체 주입)와 OOD-TaskShift(목표 물체를 학습 때 못 본 범주로 치환)

backbone

모든 방법이 Qwen3-VL-32B 로 통일

비교 대상

배포 시점에 개입하는 Self-Verification 과 Lookahead, 그리고 목적함수와 데이터 규모는 같고 짝 구성만 다른 SFT, Trajectory DPO, 그 success-matched 변형

결과

1. IS-Bench 안전 성공률이 학습하지 않은 기준선의 0.031 에서 0.281 로 올랐습니다. 안전 재현율도 0.273 에서 0.467 로 올랐습니다. 같은 구간에서 과업 성공률은 0.656 에서 0.594 로 소폭 내려갔는데, 이는 선호 학습을 거친 다른 변형들과 비슷한 수준입니다.
2. 목표 물체를 학습 때 못 본 범주로 바꾼 OOD-TaskShift 에서 격차가 가장 컸습니다. 안전 성공률이 0.048 에서 0.469 로 약 열 배가 됐고, 안전 재현율은 0.295 에서 0.795 가 됐습니다. 방해 물체를 넣은 OOD-ObjectShift 에서도 0.051 에서 0.355 로 올랐습니다.
3. 시뮬레이터를 바꾼 SafetyALFRED 로 옮겨도 유지됐습니다. 전체 위험 정확도가 기준선 0.274 에서 0.438 로 올라, 배포 시점에 개입하는 Self-Verification 0.323 과 Lookahead 0.287 을 모두 앞섰습니다. 범주별로는 가전 오사용이 0.048 에서 0.202 로, 재산 손상이 0.034 에서 0.428 로 올랐습니다.
4. 차이를 만든 것이 짝 구성이라는 점도 분리해 확인했습니다. 목적함수와 데이터 규모를 맞춘 채 짝만 다르게 구성한 Trajectory DPO 와 그 success-matched 변형은 IS-Bench 안전 성공률이 0.000 이었고 SFT 는 0.219 였습니다. 같은 맥락을 공유하는 branch pair 로 학습했을 때만 0.281 이 나왔습니다.

의의

상호작용 안전을 배포 시점 감시로 다루면 매 단계 비용이 들고, 그 모듈이 빠지는 순간 안전도 함께 사라집니다. SafeBranch 는 안전이 갈리는 바로 그 한 단계를 겨냥해 에이전트 자체를 정렬하기 때문에 배포할 때 판정자가 필요 없습니다. 학습 때 보지 못한 물체와 다른 시뮬레이터로 옮겨도 유지된다는 점에서, 특정 환경에 맞춘 요령이 아니라 위험의 구조를 배운 결과로 볼 수 있습니다.