Research Report · Reinforcement Learning
데모는 정책을
완성하지 못한다
원격조작 데이터를 더 모으는 대신, 로봇의 대칭을 아키텍처에 심고, 준최적 컨트롤러를 학습 데이터로 바꾸며, 접촉 감각을 자기지도 방식으로 먼저 익히면 어떤 일이 벌어질까.
Abstract
데모는 로봇에게 무엇을 할지는 보여주지만, 어떤 데이터가 필요한지, 무엇을 잘한 행동으로 볼지, 보이지 않는 접촉에서 무엇을 감지해야 하는지는 충분히 규정하지 못한다. Georgia Chalvatzaki의 발표는 이 문제를 규모 있는 데이터, 데모를 넘어서는 개선, 접촉 감지라는 세 축으로 분해한다.
각각의 해법은 양팔 로봇의 형태학적 대칭을 활용한 등변 정책, 강화학습과 전신 제어기로 생성한 합성 데이터, 자기지도 다중감각 표현 학습이다. 그중 WHOLE-MoMa는 원격조작과 실세계 학습 데이터 없이 시뮬레이션에서 생성한 준최적 궤적만으로 실기 양팔 서랍 과제 80%, 캐비닛 과제 68%를 달성했다. 완성된 상용 해법이라기보다, 고비용 실기 탐색을 줄이는 현실적인 연구 경로를 보여준 결과다.
이번 발표에서
가져갈 네 가지
대칭은 학습 대상이 아니라 설계 조건이다
형태학적 대칭을 군-등변 층에 내장하면 한 팔의 경험이 다른 팔의 경험으로 자동 전이된다.
준최적 제어기도 좋은 데이터 생성기다
WBC를 최종 정책이 아닌 prior로 사용하고, 오프라인 RL이 궤적의 좋은 구간을 재조합한다.
접촉 신호는 곧바로 정책에 넣지 않는다
무작위 놀이 데이터로 다중감각 표현을 먼저 학습한 뒤 하류 정책에서 재사용하는 편이 효과적이었다.
강건성은 예기치 않은 부산물일 수 있다
과제에 중요한 표현을 학습하자 조명 변화, 가림, 외력에도 별도 훈련 없이 강건해졌다.
“우리는 여전히 로봇을 원격조작하고 있다. 달라진 것은 그 원격조작 데이터를 이제 모방학습에 넣는다는 점뿐이다.” 발표 도입부의 문제의식, 편집 번역
1966년의 로봇과
오늘의 로봇 사이
발표는 BBC의 흑백 영상으로 시작한다. 1966년의 가정용 로봇 ‘Able Mabel’은 미래의 자동화된 가정을 약속하지만, 실제로는 사람이 전부 원격조작한다. 농담처럼 시작된 장면은 곧 날카로운 비판이 된다. 60년이 지난 지금도 가장 화려한 로봇 데모 상당수가 인간의 원격조작 궤적에 기대고 있기 때문이다.
인간의 학습은 다르다. 우리는 자신의 능력을 탐색하며 감각운동 협응을 만들고, 객체와 공간의 구조적 표현을 세우며, 상호작용을 통해 기술을 획득한다. 타인의 행동을 모방할 때조차 그 모방은 대개 목표를 정의하는 단서이지, 모든 제어 결정을 대신하는 완성된 답이 아니다.
여기서 발표의 중심 명제가 나온다. “모방학습은 정책을 과소결정한다.” 데모는 ‘무엇을 하라’는 예시를 제공하지만, 데이터를 어디서 얻어야 하는지, 잘하는 것의 기준은 무엇인지, 다양한 상황에서 어떤 감각에 주의를 기울여야 하는지까지 알려주지 않는다.
대칭은 데이터로
배우지 않는다
첫 번째 과제는 규모다. 필요한 데모를 모두 사람이 수집할 수 없다면, 로봇이 이미 가진 구조를 활용해 경험의 가치를 늘리고 학습 데이터를 직접 생성해야 한다.
SYMDEX의 출발점은 단순하다. 양팔 로봇은 좌우 대칭이라는 형태학적 구조를 이미 갖고 있다. 정책을 이 대칭군에 대해 등변이 되도록 설계하면, 왼손으로 얻은 경험을 오른손에서도 다시 배울 필요가 없다. 입력에서 좌우를 바꾸면 출력 행동도 일관되게 바뀌도록 아키텍처가 보장하기 때문이다.
증류된 전역 정책은 “거품기는 왼쪽에 있으니 왼팔을 사용하라”는 수동 규칙을 요구하지 않는다. 장면의 기하를 보고 어느 팔이 어떤 역할을 맡을지 결정한다. 이 구조의 이득은 두 손이 같은 일을 할 때보다 서로 다른 복잡도의 역할을 수행하는 비대칭 과제에서 더 크게 나타난다.
물리 구조가 확실히 제공하는 불변성과 등변성을 데이터로 다시 추론하게 만들지 말라. 아키텍처가 보장할 수 있는 것은 아키텍처에 맡기는 편이 표본 효율과 일반화에 유리하다.
강화학습으로 합성 데모 만들기
두 번째 데이터 생성 접근은 강화학습 교사를 먼저 학습시키고, 대규모 병렬 시뮬레이션에서 궤적을 생산한 뒤 멀티태스크 정책으로 증류하는 방식이다. 객체, 외양, 카메라 시점, 조명을 랜덤화하고 RGB-D와 포인트 클라우드를 입력으로 사용한다.
흥미로운 단계는 언어 라벨링이다. 템플릿으로 정의한 과제와 장면을 LVLM에 함께 제공해 같은 의미의 여러 지시문을 생성한다. 정책은 하나의 문구를 암기하는 대신 “가장 가까운 물체를 집어라”처럼 표현이 달라진 지시에도 대응하도록 학습된다.
재사용 가능한 보상: align + contact + goal + reset
보상은 과제별 긴 궤적을 세밀하게 기술하는 대신 네 개의 재사용 가능한 항으로 구성된다. 손이 정렬해야 할 키포인트는 affordance이자 인간 데모에서 얻을 수 있는 단서다. 목표는 종료 시 객체의 자세로 표현한다. 같은 구조가 들기, pick-and-place, 서랍 삽입에 반복 적용되면서 환경 구축 시간이 과제당 약 하루에서 약 한 시간으로 줄었다.
나쁜 데모를
그대로 닮지 않는 법
두 번째 연구 축은 데이터를 넘어서는 개선이다. 준최적 컨트롤러가 만들어낸 궤적을 그대로 복제하는 대신, 오프라인 강화학습이 궤적 속 좋은 구간을 찾아 더 나은 장기 행동으로 연결한다.
전신 제어기(WBC)는 여러 목적을 동시에 최적화하는 데 강하다. 그러나 고자유도 로봇에서는 목적 함수의 가중치를 세밀하게 맞춰야 하고, 장기 과제는 단계를 사람이 나눠 다시 튜닝해야 하는 경우가 많다. 부정확한 가중치는 로봇을 특이점에 가까운 자세로 몰거나, 손잡이처럼 움직이는 구조물을 과도한 힘으로 파손할 수 있다.
WHOLE-MoMa는 이 약점을 뒤집는다. WBC를 폐기하지 않고 다양한 준최적 데이터를 생성하는 prior로 사용한다. 무작위화된 WBC에서 많은 전신 궤적을 만든 뒤 점수를 매기고, 오프라인 RL이 장기적인 credit assignment를 학습한다.
구현 조합도 구체적이다. Q 함수를 chunked transformer critic으로 두고 IQL로 학습한 뒤 AWR로 정책을 추출한다. 정책 자체는 diffusion transformer다. 이 양팔 모바일 조작 설정에서는 당시 강한 기준선인 IDQL이 기대만큼 작동하지 않았다. 단순히 다음 행동을 복제하는 정책이 아니라, 행동 묶음의 장기 결과를 평가하는 구조가 중요했다.
| 방법 | 장점 | 관찰된 문제 | 발표의 판단 |
|---|---|---|---|
| WBC | 여러 제어 목적을 동시에 처리 | 특이점 근접, 떨림, 손잡이 손상 | 최종 해보다 데이터 prior로 적합 |
| BC / Diffusion Policy | 복잡한 행동 분포를 직접 모방 | 좋은 궤적만 사용해도 공격적 행동을 복제 | 데이터 품질을 넘어서는 개선이 어려움 |
| IDQL | 강한 오프라인 RL 기준선 | 양팔 모바일 조작 설정에서는 준최적 | 과제의 긴 시간 범위와 구조에 맞지 않음 |
| WHOLE-MoMa | 좋은 구간을 장기 행동으로 연결 | 성공률이 아직 상용 수준에는 미달 | 실세계 데이터 없는 전이 가능성을 입증 |
성공과 안전한 성공은 다르다
이 비교가 보여주는 차이는 단순한 성공률 이상이다. WBC 기반 정책과 순수 행동복제 정책은 과제를 완료하면서도 손잡이를 부수거나 관절을 무리한 자세로 보낸다. 반면 WHOLE-MoMa는 보상에 자세한 동작 순서를 명시하지 않았는데도 더 조심스러운 관절 구성을 선택했다. 준최적 데이터 안에 흩어진 좋은 행동의 단서를 가치 함수가 이어 붙인 결과다.
80%와 68%는 상업적 배치에 충분한 신뢰도가 아니다. 이 결과의 의미는 “문제가 해결됐다”가 아니라, 위험하고 비싼 실세계 탐색 없이도 유용한 초기 정책을 만드는 경로가 확인됐다는 데 있다.
접촉은 입력값보다
먼저 표현이 되어야 한다
세 번째 축은 접촉 감지다. 힘과 토크 신호를 정책에 그대로 연결하면, 정책이 익숙한 비전에만 과도하게 의존하거나 감각 정보를 제대로 쓰지 못하는 일이 발생했다. 해법은 과제 학습 전에 감각 사이의 관계부터 익히게 하는 것이었다.
연구진은 아이의 탐색 행동에서 영감을 받아 과제와 무관한 무작위 놀이 데이터를 모은다. 일부 센서 임베딩만으로 현재 또는 다음 시점의 다중감각 관측을 재구성하도록 인코더를 자기지도 사전학습하고, 이 인코더를 동결한 채 하류 강화학습에 사용한다.
크로스 어텐션은 정책이 아니라 크리틱에
잠재 임베딩을 정책에 그대로 넣는 것만으로는 충분하지 않았다. 가장 효과적인 구성은 학습 가능한 쿼리와 cross-attention을 크리틱에 두는 비대칭 학습이었다. 크리틱은 감각 스트림 중 가치 판단에 필요한 부분을 선택적으로 읽고, 정책은 지나치게 좁은 표현에 갇히지 않은 채 행동한다. 강하게 랜덤화된 동역학 아래에서는 이 비대칭성이 오히려 정책을 특정 조건에 덜 민감하게 만들었다.
학습하지 않은 강건성이 나타나다
실세계 peg-in-hole 실험에서는 데모 20개와 무작위 상호작용 데이터 2,000개로 표현을 먼저 학습했다. 이후 로봇이 스스로 강화학습을 수행해 55분 만에 정책을 얻었다. 더 흥미로운 점은 별도로 조명 변화를 학습하지 않았는데도 다양한 조명과 이른바 ‘디스코’ 조명에서 작동했다는 사실이다.
표현이 배경의 시각적 변화보다 접촉과 과제 상태에 중요한 정보를 담으면서, 카메라 가림과 외력에도 성능이 유지됐다. 다만 모든 결과가 예상과 일치한 것은 아니다. 내부 무게중심이 달라지는 큐브 밀기에서는 다음 관측을 예측하는 목적보다 현재 다중감각 판독을 재구성하는 목적이 더 좋았다. 카메라만으로 숨은 내부 상태를 추론하기 어려운 설정이 원인일 수 있지만, 발표에서는 추가 검증이 필요한 열린 문제로 남겼다.
세 연구를 관통하는
하나의 설계 패턴
대칭 정책, 준최적 WBC 데이터, 다중감각 사전학습은 서로 다른 연구처럼 보이지만 같은 원리를 공유한다. 로봇이 처음부터 모든 것을 시행착오로 알아내게 두지 않고, 이미 존재하는 구조와 불완전한 지식을 학습 가능한 형태로 바꾼다.
| 데모가 말하지 않는 것 | 사용 가능한 prior | 학습 장치 | 얻는 효과 |
|---|---|---|---|
| 반대편 팔에서도 같은 기술을 쓰는 법 | 로봇의 형태학적 대칭 | 군-등변 정책과 증류 | 경험 공유와 비대칭 역할 일반화 |
| 준최적 행동보다 더 잘하는 법 | 랜덤화된 전신 제어기 | 오프라인 RL과 장기 가치 평가 | 안전한 자세와 실기 zero-shot 전이 |
| 접촉 중 어떤 신호가 중요한지 | 무작위 다중감각 상호작용 | 자기지도 표현과 비대칭 critic | 조명·가림·외력 변화에 대한 강건성 |
- 구조를 먼저 찾는다. 대칭, 제어기, 감각 상관관계처럼 이미 알고 있는 것을 정책의 출발점으로 삼는다.
- 전문가를 최종 답으로 쓰지 않는다. 기존 컨트롤러는 다양한 후보 행동을 제공하는 데이터 생성기로 재해석한다.
- 분해한 뒤 다시 증류한다. 탐색은 좁은 하위 문제에서 집중시키고, 배포는 하나의 일반 정책으로 단순화한다.
- 성공률만 보지 않는다. 관절 여유, 접촉 힘, 손상 가능성처럼 성공의 질을 함께 평가한다.
중장비와 고비용 로봇에
무엇을 옮길 수 있는가
이 연구의 가장 직접적인 적용처는 실기 탐색의 실패 비용이 큰 시스템이다. 굴착기, 산업용 양팔 로봇, 대형 모바일 매니퓰레이터처럼 한 번의 잘못된 행동이 장비 손상이나 안전사고로 이어지는 영역에서는 “실기에서 많이 시도한다”는 학습 전략 자체가 성립하기 어렵다.
1. 기존 제어 로직을 학습 데이터 공장으로 바꾼다
중장비에는 이미 오랜 기간 다듬어진 유압 제어 로직과 궤적 생성기가 있다. 이를 완성된 자동화 정책으로 고정하기보다 조건과 가중치를 랜덤화해 대량의 준최적 궤적을 생성하고, 오프라인 RL이 좋은 구간을 선택하도록 만들 수 있다. 원격조작 데이터를 처음부터 대규모로 모으지 않고 시작할 수 있다는 점이 실용적이다.
2. 보상은 공정별 서술이 아니라 재사용 항으로 설계한다
align + contact + goal + reset 구조는 굴착 공정에도 자연스럽게 대응된다. 버킷 정렬, 토양 접촉, 적재 목표 자세, 다음 사이클을 위한 초기화로 나누면 과제마다 긴 기준 궤적을 만드는 부담을 줄일 수 있다.
3. 압력과 힘 신호는 표현 학습을 거쳐 사용한다
유압 압력이나 힘 센서의 원시 값을 정책에 바로 연결하기보다, 무작위 상호작용 데이터에서 시각·관절·압력 신호의 관계를 먼저 학습시키는 가설을 시험할 가치가 있다. 구현 단계에서는 학습 가능한 쿼리와 cross-attention을 critic 쪽에만 두는 비대칭 구조가 구체적인 출발점이 될 수 있다.
실험실 로봇에서 80% 성공률로 문을 여는 것과, 수 톤의 하중을 다루는 장비가 같은 성공률로 작업하는 것은 전혀 다른 문제다. 실제 배포에는 제약 기반 안전 계층, 보수적 불확실성 추정, 실패 복구, 감독 체계가 추가로 필요하다.
유망하지만 아직
끝나지 않은 질문들
- 대칭의 적용 범위: SYMDEX는 명확한 형태학적 대칭이 있는 시스템에서 가장 자연스럽다. 대칭이 약하거나 깨진 embodiment에는 그대로 적용하기 어렵다.
- 성공률의 간극: 80%와 68%는 연구 결과로 의미 있지만, 높은 가동률과 극저 실패율이 필요한 상용 환경의 기준에는 미치지 못한다.
- 시뮬레이션 의존: 합성 데이터의 범위와 품질은 시뮬레이션 환경에 좌우된다. 발표자 역시 학습용 시뮬레이션 구축이 아직 초기 단계라고 인정한다.
- 표현 목적 함수: 왜 다음 관측 예측이 현재 관측 재구성보다 나빴는지는 완전히 규명되지 않았다. 숨은 상태와 센서 가시성의 관계를 더 분석해야 한다.
Q&A: 리셋할 수 없는 과제는 어떻게 배울까
peg-in-hole처럼 로봇이 스스로 되돌릴 수 있는 과제에서 얻은 표현을 조립처럼 되돌리기 어려운 과제에 어떻게 일반화할 수 있느냐는 질문이 나왔다. Chalvatzaki는 리셋 절차를 과도하게 엔지니어링하는 대신 reset-free RL과 계층적 하위 목표 발견을 결합하는 방향을 강조했다. 기계학습에서 축적된 하위 목표 발견 연구를 로보틱스로 다시 가져오는 것이 다음 단계라는 제안이다.
출처와 읽기 메모
- 본문은 Georgia Chalvatzaki의 ICRA 2026 RL4IL 워크샵 발표 를 요약·재구성한 연구 노트다. 인용문은 발표 내용을 바탕으로 한 한국어 편집 번역이다.
- SYMDEX는 발표에서 Li, Z. et al., CoRL/PMLR 2025 연구로 소개됐다. 본문은 발표 슬라이드에 제시된 bilateral symmetry, equivariant policy, decomposition, distillation의 관계를 중심으로 정리했다.
- WHOLE-MoMa의 알고리즘 구성과 80%·68% 수치는 발표 슬라이드와 실물 시연에서 보고된 결과다. 서로 다른 평가 조건의 수치를 직접 비교하는 용도로 사용해서는 안 된다.
- 자기지도 다중감각 사전학습 연구는 발표에서 RA-L 게재 연구로 소개됐다. 20개 데모, 2,000개 무작위 샘플, 55분 학습 결과는 발표자가 제시한 실세계 peg-in-hole 설정에 한정된다.
- FoundationPose, IQL, AWR, diffusion transformer, LVLM 등의 명칭은 원 발표의 구현 설명을 보존한 것이다. 이 글은 개별 알고리즘의 재현 문서가 아니라 발표의 설계 논리를 비교하는 해설 보고서다.
함께 읽을 주제
더 많이 따라 하는 것이
언제나 답은 아니다
이 발표의 핵심은 모방학습을 버리자는 것이 아니다. 데모가 잘하는 일과 하지 못하는 일을 구분하자는 것이다. 데모는 목표를 보여준다. 대칭은 경험을 공유하게 한다. 오프���인 RL은 불완전한 행동을 개선한다. 자기지도 감각 학습은 보이지 않는 접촉을 읽게 한다.
로봇에게 필요한 것은 완벽한 스승 한 명이 아니라, 각기 다른 빈틈을 메우는 여러 종류의 구조적 단서일 수 있다. 원격조작을 줄이는 길은 사람의 데이터를 없애는 데 있지 않다. 사람이 제공한 작은 힌트를 로봇의 구조, 시뮬레이션, 제어 지식, 감각 경험과 결합해 더 멀리 확장하는 데 있다.