로봇 하나가 멈추면 전부 멈추는 문제

배경

자연어 지시를 따르는 다중 로봇 시스템이 빠르게 실제 현장으로 넘어오고 있습니다. LLM 이 지시를 실행 가능한 다중 로봇 계획으로 분해해 주면서 이 과정이 크게 간소화됐습니다.

그럼에도 여러 로봇에 걸친 장기 과업은 여전히 어렵습니다. 어려움이 계획 단계와 실행 단계 양쪽에서 쌓이기 때문입니다. 계획할 때는 하위 작업과 로봇 상태, 작업 간 의존 관계가 늘어나면서 계획자의 컨텍스트가 부풀고, LLM 의 추론이 약해져 없는 하위 작업을 지어내거나 실행 불가능한 로봇 배정을 내놓을 위험이 커집니다.

실행할 때는 잡기 실패나 예상 밖의 물체 위치 변화 같은 사소한 문제 하나가 뒤따르는 하위 작업들을 통째로 무효로 만듭니다. 기존의 중앙집중식 방법은 이럴 때 전역 계획을 다시 생성하고, 그동안 모든 로봇이 멈춰 섭니다.

제안 방법

HiP-LR 은 계획을 두 층 위계로 나눕니다. 중앙 에이전트가 전역 과업을 배분하고, 지역 에이전트가 자기 몫의 구체적인 계획을 세워 실행합니다. 복잡한 지시는 의존성이 서로 분리된 하위 작업 그룹으로 쪼개지므로, 각 에이전트가 한 번에 보는 컨텍스트가 작게 유지됩니다. 계획 단계의 컨텍스트 폭증 문제를 여기서 막습니다.

회복은 PDDL 기반 이중 메모리 구조가 맡습니다. 실패가 발생하면 영향을 받은 그룹만 멈춰 다시 계획합니다. 그룹 사이에 의존성이 없도록 미리 나눠 두었기 때문에 나머지 그룹은 방해받지 않고 계속 실행할 수 있습니다. 실패의 파급 범위가 그룹 안에 갇히는 셈입니다.

실험 설정

벤치마크

AI2-THOR 시뮬레이터 기반 MAP-THOR. 5개 평면도에 걸친 가정 과업 45개, 총 225개 시나리오

신규 벤치마크

RECAP-THOR. MAP-THOR 는 실패 빈도와 시점이 쓰는 LLM 과 계획자에 좌우돼 회복 능력을 같은 조건에서 비교하기 어려워, 정해진 행동에서 반드시 실패하도록 설계. 집을 수 없는 대상(T1), 필요한 물건을 다 담지 못하는 수납처(T2), 무관한 물체를 이미 들고 있는 로봇(T3), 계획과 실행 사이에 상태가 바뀌는 수납처(T4). 유형마다 시나리오 템플릿 2개를 5개 평면도에 적용해 40개 과업

비교 대상

SMART-LLM, DMRS-1D, DMRS-2D, LaMMA-P, LaMMA-P+, H-AIM, KGLAMP 일곱 가지

설정

로봇 3대, backbone LLM 은 GPT-4o

지표

과업 실행은 성공률 SR, 운반률 TR, 커버리지 C, 균형 B 에 새로 제안한 단계 효율 SE 를 더하고, 재계획 효율은 재계획 성공률 RSR, 재계획 대기 RW, 재계획 시간 RT, 토큰 사용량 RTU

결과

1. MAP-THOR 성공률이 0.73 이었습니다. 가장 강한 baseline 인 H-AIM 의 0.53, KGLAMP 의 0.51 을 크게 앞섰고, 이것이 초록에서 말하는 38% 향상에 해당합니다. 운반률도 0.90 으로 KGLAMP 의 0.74 를 앞섰으며 커버리지 0.87, 균형 0.75, 단계 효율 0.48 로 모든 지표에서 1위였습니다. 단계 효율은 낮을수록 좋습니다.
2. 실패를 일부러 주입한 RECAP-THOR 에서 격차가 더 벌어졌습니다. HiP-LR 성공률이 0.47 인 반면 회복 기능을 갖춘 LaMMA-P+ 는 0.25, KGLAMP 는 0.12 였습니다. 운반률은 0.84 대 0.50, 0.60 이었습니다.
3. 두 벤치마크 모두에서 재계획 성공률이 가장 높았습니다. 의존성 그래프와 이중 메모리로 실패 범위를 좁히기 때문에, 실패가 날 때마다 전체 계획을 다시 세우지 않고도 실행 가능한 계획을 다시 만들어 냅니다. 원래 벤치마크와 실패 주입 벤치마크 양쪽에서 같은 개선이 나타났다는 점에서, 특정 실패 분포에 맞춘 결과가 아닙니다.
4. 재계획 효율에서도 재계획 대기, 재계획 시간, 토큰 사용량이 모두 크게 줄었습니다. KGLAMP 와 LaMMA-P+ 는 중앙집중식 또는 전체 파이프라인 재계획 탓에 심한 지연을 겪었습니다.

의의

실패 하나 때문에 전체 계획을 다시 세우는 것은 낭비입니다. 의존성을 기준으로 그룹을 미리 갈라 두면 실패의 파급이 그 그룹 안에 갇히고, 무관한 로봇들은 하던 일을 계속할 수 있습니다. 같은 분리가 계획 단계에서는 컨텍스트를 작게 유지하는 역할도 합니다. 회복 능력을 같은 조건에서 견줄 수 있도록 실패 주입 벤치마크 RECAP-THOR 를 새로 설계한 것도 이 논문의 기여입니다.