MARKTL RESEARCH NOTE ROBOT LEARNING · ICRA 2026

Research Report · Reinforcement Learning

데모는 정책을
완성하지 못한다

원격조작 데이터를 더 모으는 대신, 로봇의 대칭을 아키텍처에 심고, 준최적 컨트롤러를 학습 데이터로 바꾸며, 접촉 감각을 자기지도 방식으로 먼저 익히면 어떤 일이 벌어질까.

Georgia Chalvatzaki · TU Darmstadt ICRA 2026 RL4IL Workshop 발표 30분 45초 리서치 노트 2026.08.08
발표 슬라이드: Learning from Demonstrations Underspecifies the Policy
발표의 중심 명제 — “모방학습은 정책을 과소결정한다.”

Abstract

데모는 로봇에게 무엇을 할지는 보여주지만, 어떤 데이터가 필요한지, 무엇을 잘한 행동으로 볼지, 보이지 않는 접촉에서 무엇을 감지해야 하는지는 충분히 규정하지 못한다. Georgia Chalvatzaki의 발표는 이 문제를 규모 있는 데이터, 데모를 넘어서는 개선, 접촉 감지라는 세 축으로 분해한다.

각각의 해법은 양팔 로봇의 형태학적 대칭을 활용한 등변 정책, 강화학습과 전신 제어기로 생성한 합성 데이터, 자기지도 다중감각 표현 학습이다. 그중 WHOLE-MoMa는 원격조작과 실세계 학습 데이터 없이 시뮬레이션에서 생성한 준최적 궤적만으로 실기 양팔 서랍 과제 80%, 캐비닛 과제 68%를 달성했다. 완성된 상용 해법이라기보다, 고비용 실기 탐색을 줄이는 현실적인 연구 경로를 보여준 결과다.

Primary source · YouTube Reinforcement Learning From, For and With Demonstrations 발표 보기

이번 발표에서
가져갈 네 가지

1

대칭은 학습 대상이 아니라 설계 조건이다

형태학적 대칭을 군-등변 층에 내장하면 한 팔의 경험이 다른 팔의 경험으로 자동 전이된다.

2

준최적 제어기도 좋은 데이터 생성기다

WBC를 최종 정책이 아닌 prior로 사용하고, 오프라인 RL이 궤적의 좋은 구간을 재조합한다.

3

접촉 신호는 곧바로 정책에 넣지 않는다

무작위 놀이 데이터로 다중감각 표현을 먼저 학습한 뒤 하류 정책에서 재사용하는 편이 효과적이었다.

4

강건성은 예기치 않은 부산물일 수 있다

과제에 중요한 표현을 학습하자 조명 변화, 가림, 외력에도 별도 훈련 없이 강건해졌다.

Demonstrations underspecify the policy 데모는 정책을 완전히 규정하지 못한다
01 · 규모 대칭과 RL을 이용해 사람이 수집할 수 없는 양의 데이터를 만든다.
02 · 개선 준최적 행동을 복제하지 않고 오프라인 RL로 더 좋은 행동을 구성한다.
03 · 접촉 비전이 놓치는 상호작용을 자기지도 다중감각 표현으로 포착한다.
“우리는 여전히 로봇을 원격조작하고 있다. 달라진 것은 그 원격조작 데이터를 이제 모방학습에 넣는다는 점뿐이다.” 발표 도입부의 문제의식, 편집 번역

1966년의 로봇과
오늘의 로봇 사이

발표는 BBC의 흑백 영상으로 시작한다. 1966년의 가정용 로봇 ‘Able Mabel’은 미래의 자동화된 가정을 약속하지만, 실제로는 사람이 전부 원격조작한다. 농담처럼 시작된 장면은 곧 날카로운 비판이 된다. 60년이 지난 지금도 가장 화려한 로봇 데모 상당수가 인간의 원격조작 궤적에 기대고 있기 때문이다.

1966년 Able Mabel 가정용 로봇 영상 장면
00:01:40 — 완전히 원격조작되던 1966년의 가정용 로봇.
인간 지능의 구조화된 학습 과정을 설명하는 발표 슬라이드
00:02:20 — 인간은 지각하기 위해 행동하고, 행동하기 위해 지각한다.

인간의 학습은 다르다. 우리는 자신의 능력을 탐색하며 감각운동 협응을 만들고, 객체와 공간의 구조적 표현을 세우며, 상호작용을 통해 기술을 획득한다. 타인의 행동을 모방할 때조차 그 모방은 대개 목표를 정의하는 단서이지, 모든 제어 결정을 대신하는 완성된 답이 아니다.

여기서 발표의 중심 명제가 나온다. “모방학습은 정책을 과소결정한다.” 데모는 ‘무엇을 하라’는 예시를 제공하지만, 데이터를 어디서 얻어야 하는지, 잘하는 것의 기준은 무엇인지, 다양한 상황에서 어떤 감각에 주의를 기울여야 하는지까지 알려주지 않는다.

데모에서 얻을 수 없는 데이터 규모, 개선, 접촉 감지를 설명하는 슬라이드
00:04:40 — 발표가 제시한 세 가지 결손: 규모 있는 데이터, 데이터를 넘어서는 개선, 접촉 감지.

대칭은 데이터로
배우지 않는다

첫 번째 과제는 규모다. 필요한 데모를 모두 사람이 수집할 수 없다면, 로봇이 이미 가진 구조를 활용해 경험의 가치를 늘리고 학습 데이터를 직접 생성해야 한다.

규모 있는 데이터를 첫 번째 연구 축으로 소개하는 슬라이드
00:05:30 — 첫 번째 축: 모방학습에 필요한 데모를 생성한다.
SYMDEX의 양팔 대칭 구조와 등변 정책을 설명하는 슬라이드
00:06:20 — SYMDEX는 양팔 로봇의 bilateral symmetry를 귀납 편향으로 사용한다.

SYMDEX의 출발점은 단순하다. 양팔 로봇은 좌우 대칭이라는 형태학적 구조를 이미 갖고 있다. 정책을 이 대칭군에 대해 등변이 되도록 설계하면, 왼손으로 얻은 경험을 오른손에서도 다시 배울 필요가 없다. 입력에서 좌우를 바꾸면 출력 행동도 일관되게 바뀌도록 아키텍처가 보장하기 때문이다.

Symmetry 양팔의 대칭을 군-등변 네트워크에 내장한다.
Decompose 양팔 과제를 손별 하위 과제로 나눠 탐색 범위를 줄인다.
Specialize 각 하위 과제에 전용 등변 정책을 학습한다.
Distill 정책들을 하나의 hand-agnostic 조정자로 증류한다.
Symmetry Decompose Distill로 정리된 SYMDEX 파이프라인
00:08:30 — 대칭을 심고, 과제를 분해하고, 손-과제 배정과 무관한 정책으로 증류한다.

증류된 전역 정책은 “거품기는 왼쪽에 있으니 왼팔을 사용하라”는 수동 규칙을 요구하지 않는다. 장면의 기하를 보고 어느 팔이 어떤 역할을 맡을지 결정한다. 이 구조의 이득은 두 손이 같은 일을 할 때보다 서로 다른 복잡도의 역할을 수행하는 비대칭 과제에서 더 크게 나타난다.

등변성, 경험 공유, 비대칭 역할의 이득을 정리한 슬라이드
00:09:20 — 등변성은 학습하지 않고 보장하며, 모든 상호작용을 양팔의 경험으로 공유한다.
하나의 양손잡이 정책이 실물 양팔 로봇을 제어하는 장면
00:10:00 — 동일한 정책이 물건을 상자에 넣고 상자를 들어 올린다.
설계 원칙

물리 구조가 확실히 제공하는 불변성과 등변성을 데이터로 다시 추론하게 만들지 말라. 아키텍처가 보장할 수 있는 것은 아키텍처에 맡기는 편이 표본 효율과 일반화에 유리하다.

강화학습으로 합성 데모 만들기

두 번째 데이터 생성 접근은 강화학습 교사를 먼저 학습시키고, 대규모 병렬 시뮬레이션에서 궤적을 생산한 뒤 멀티태스크 정책으로 증류하는 방식이다. 객체, 외양, 카메라 시점, 조명을 랜덤화하고 RGB-D와 포인트 클라우드를 입력으로 사용한다.

교사 학습, 합성 데이터 생성, 언어 라벨링, 멀티태스크 정책 학습 파이프라인
00:12:20 — RL 교사에서 합성 궤적을 만들고 언어 조건부 diffusion policy로 증류한다.

흥미로운 단계는 언어 라벨링이다. 템플릿으로 정의한 과제와 장면을 LVLM에 함께 제공해 같은 의미의 여러 지시문을 생성한다. 정책은 하나의 문구를 암기하는 대신 “가장 가까운 물체를 집어라”처럼 표현이 달라진 지시에도 대응하도록 학습된다.

재사용 가능한 보상: align + contact + goal + reset

align contact flexible goal reset으로 구성된 일반화 보상 함수
00:13:00 — 정렬, 접촉, 유연한 목표, 리셋으로 보상을 모듈화한다.

보상은 과제별 긴 궤적을 세밀하게 기술하는 대신 네 개의 재사용 가능한 항으로 구성된다. 손이 정렬해야 할 키포인트는 affordance이자 인간 데모에서 얻을 수 있는 단서다. 목표는 종료 시 객체의 자세로 표현한다. 같은 구조가 들기, pick-and-place, 서랍 삽입에 반복 적용되면서 환경 구축 시간이 과제당 약 하루에서 약 한 시간으로 줄었다.

≈1h 재사용 가능한 보상으로 새 과제를 구성하는 시간
4 align · contact · goal · reset 보상 항
0-shot 학습 중 보지 않은 객체를 실기에서 조작
미지 객체를 가장 가까운 객체를 집으라는 지시로 조작하는 실물 로봇
00:14:40 — RL 궤적에서 증류된 정책이 미지 객체를 실기에서 zero-shot 조작한다.

나쁜 데모를
그대로 닮지 않는 법

두 번째 연구 축은 데이터를 넘어서는 개선이다. 준최적 컨트롤러가 만들어낸 궤적을 그대로 복제하는 대신, 오프라인 강화학습이 궤적 속 좋은 구간을 찾아 더 나은 장기 행동으로 연결한다.

전신 제어기의 장점과 한계를 비교한 슬라이드
00:16:40 — WBC는 동시 목적에 강하지만 튜닝 오류와 articulated 객체 손상에 취약하다.

전신 제어기(WBC)는 여러 목적을 동시에 최적화하는 데 강하다. 그러나 고자유도 로봇에서는 목적 함수의 가중치를 세밀하게 맞춰야 하고, 장기 과제는 단계를 사람이 나눠 다시 튜닝해야 하는 경우가 많다. 부정확한 가중치는 로봇을 특이점에 가까운 자세로 몰거나, 손잡이처럼 움직이는 구조물을 과도한 힘으로 파손할 수 있다.

WHOLE-MoMa는 이 약점을 뒤집는다. WBC를 폐기하지 않고 다양한 준최적 데이터를 생성하는 prior로 사용한다. 무작위화된 WBC에서 많은 전신 궤적을 만든 뒤 점수를 매기고, 오프라인 RL이 장기적인 credit assignment를 학습한다.

Randomized WBC 가중치와 조건을 바꿔 다양한 준최적 전신 데모를 만든다.
Score 보상 함수로 각 궤적과 구간의 품질을 평가한다.
Offline RL 좋은 구간의 장기 가치를 학습해 재조합한다.
Zero-shot 실세계 학습 없이 실제 로봇으로 정책을 옮긴다.
WHOLE-MoMa의 WBC 데이터 생성과 오프라인 RL 학습 파이프라인
00:17:30 — Q-chunked transformer critic, IQL, AWR, diffusion transformer를 결합한 파이프라인.

구현 조합도 구체적이다. Q 함수를 chunked transformer critic으로 두고 IQL로 학습한 뒤 AWR로 정책을 추출한다. 정책 자체는 diffusion transformer다. 이 양팔 모바일 조작 설정에서는 당시 강한 기준선인 IDQL이 기대만큼 작동하지 않았다. 단순히 다음 행동을 복제하는 정책이 아니라, 행동 묶음의 장기 결과를 평가하는 구조가 중요했다.

방법 장점 관찰된 문제 발표의 판단
WBC 여러 제어 목적을 동시에 처리 특이점 근접, 떨림, 손잡이 손상 최종 해보다 데이터 prior로 적합
BC / Diffusion Policy 복잡한 행동 분포를 직접 모방 좋은 궤적만 사용해도 공격적 행동을 복제 데이터 품질을 넘어서는 개선이 어려움
IDQL 강한 오프라인 RL 기준선 양팔 모바일 조작 설정에서는 준최적 과제의 긴 시간 범위와 구조에 맞지 않음
WHOLE-MoMa 좋은 구간을 장기 행동으로 연결 성공률이 아직 상용 수준에는 미달 실세계 데이터 없는 전이 가능성을 입증
WBC BC IDQL WHOLE-MoMa의 캐비닛 조작 시뮬레이션 비교
00:19:50 — 네 방법의 시뮬레이션 비교. 단순 성공 여부만큼 자세와 힘의 품질이 중요하다.

성공과 안전한 성공은 다르다

WBC 기반 실물 로봇이 손잡이를 무리하게 당기는 장면
00:20:40 — WBC 정책은 손잡이를 사실상 파손하고 불안정한 자세로 작업을 끝낸다.
WHOLE-MoMa 로봇이 안정적인 관절 자세로 캐비닛 문을 여는 장면
00:21:20 — WHOLE-MoMa는 명시적 지시 없이 관절 여유를 유지하며 문을 연다.

이 비교가 보여주는 차이는 단순한 성공률 이상이다. WBC 기반 정책과 순수 행동복제 정책은 과제를 완료하면서도 손잡이를 부수거나 관절을 무리한 자세로 보낸다. 반면 WHOLE-MoMa는 보상에 자세한 동작 순서를 명시하지 않았는데도 더 조심스러운 관절 구성을 선택했다. 준최적 데이터 안에 흩어진 좋은 행동의 단서를 가치 함수가 이어 붙인 결과다.

사람의 방해 후 손잡이를 다시 잡고 과제를 계속하는 로봇
00:22:00 — 사람이 손잡이를 빼앗아도 다시 잡고 작업을 이어가는 강건성 시연.
80% 실물 양팔 서랍 과제 성공률
68% 캐비닛을 열고 물체를 넣는 과제 성공률
0 원격조작 데이터 및 실세계 학습 데이터
원격조작과 실세계 학습 데이터 없이 얻은 WHOLE-MoMa 정량 결과
00:22:50 — 시뮬레이션의 준최적 컨트롤러 데이터만 사용해 실기에 zero-shot 배포했다.
결과를 과장해서는 안 된다

80%와 68%는 상업적 배치에 충분한 신뢰도가 아니다. 이 결과의 의미는 “문제가 해결됐다”가 아니라, 위험하고 비싼 실세계 탐색 없이도 유용한 초기 정책을 만드는 경로가 확인됐다는 데 있다.

접촉은 입력값보다
먼저 표현이 되어야 한다

세 번째 축은 접촉 감지다. 힘과 토크 신호를 정책에 그대로 연결하면, 정책이 익숙한 비전에만 과도하게 의존하거나 감각 정보를 제대로 쓰지 못하는 일이 발생했다. 해법은 과제 학습 전에 감각 사이의 관계부터 익히게 하는 것이었다.

무작위 놀이 데이터로 다중감각 표현을 사전학습하는 파이프라인
00:24:20 — 과제와 무관한 놀이 데이터에서 일부 감각으로 다중감각 관측을 재구성한다.

연구진은 아이의 탐색 행동에서 영감을 받아 과제와 무관한 무작위 놀이 데이터를 모은다. 일부 센서 임베딩만으로 현재 또는 다음 시점의 다중감각 관측을 재구성하도록 인코더를 자기지도 사전학습하고, 이 인코더를 동결한 채 하류 강화학습에 사용한다.

크로스 어텐션은 정책이 아니라 크리틱에

학습 가능한 쿼리와 크로스 어텐션을 크리틱에 배치한 비대칭 학습 구조
00:25:00 — 학습 가능한 쿼리와 cross-attention을 critic에만 두는 비대칭 구조가 가장 잘 작동했다.

잠재 임베딩을 정책에 그대로 넣는 것만으로는 충분하지 않았다. 가장 효과적인 구성은 학습 가능한 쿼리와 cross-attention을 크리틱에 두는 비대칭 학습이었다. 크리틱은 감각 스트림 중 가치 판단에 필요한 부분을 선택적으로 읽고, 정책은 지나치게 좁은 표현에 갇히지 않은 채 행동한다. 강하게 랜덤화된 동역학 아래에서는 이 비대칭성이 오히려 정책을 특정 조건에 덜 민감하게 만들었다.

Peg Insertion Push Cube Close Drawer Gently Dual Arm Peg Insertion 벤치마크
00:25:50 — 접촉이 중요한 네 가지 평가 과제.

학습하지 않은 강건성이 나타나다

실세계 peg-in-hole 실험에서는 데모 20개와 무작위 상호작용 데이터 2,000개로 표현을 먼저 학습했다. 이후 로봇이 스스로 강화학습을 수행해 55분 만에 정책을 얻었다. 더 흥미로운 점은 별도로 조명 변화를 학습하지 않았는데도 다양한 조명과 이른바 ‘디스코’ 조명에서 작동했다는 사실이다.

여러 조명과 가림 조건에서 peg-in-hole을 수행하는 로봇
00:26:40 — 조명, 가림, 외력, 임피던스 변화에 대한 의도하지 않은 강건성.
무게중심이 변하는 큐브 밀기 과제의 다중감각 결과
00:27:20 — 큐브 밀기에서는 다음 관측 예측보다 현재 관측 재구성이 더 좋았다.
20 실세계 사전학습에 사용한 과제 데모
2,000 과제와 무관한 무작위 상호작용 샘플
55m 로봇이 peg-in-hole 정책을 학습한 시간

표현이 배경의 시각적 변화보다 접촉과 과제 상태에 중요한 정보를 담으면서, 카메라 가림과 외력에도 성능이 유지됐다. 다만 모든 결과가 예상과 일치한 것은 아니다. 내부 무게중심이 달라지는 큐브 밀기에서는 다음 관측을 예측하는 목적보다 현재 다중감각 판독을 재구성하는 목적이 더 좋았다. 카메라만으로 숨은 내부 상태를 추론하기 어려운 설정이 원인일 수 있지만, 발표에서는 추가 검증이 필요한 열린 문제로 남겼다.

세 연구를 관통하는
하나의 설계 패턴

대칭 정책, 준최적 WBC 데이터, 다중감각 사전학습은 서로 다른 연구처럼 보이지만 같은 원리를 공유한다. 로봇이 처음부터 모든 것을 시행착오로 알아내게 두지 않고, 이미 존재하는 구조와 불완전한 지식을 학습 가능한 형태로 바꾼다.

데모가 말하지 않는 것 사용 가능한 prior 학습 장치 얻는 효과
반대편 팔에서도 같은 기술을 쓰는 법 로봇의 형태학적 대칭 군-등변 정책과 증류 경험 공유와 비대칭 역할 일반화
준최적 행동보다 더 잘하는 법 랜덤화된 전신 제어기 오프라인 RL과 장기 가치 평가 안전한 자세와 실기 zero-shot 전이
접촉 중 어떤 신호가 중요한지 무작위 다중감각 상호작용 자기지도 표현과 비대칭 critic 조명·가림·외력 변화에 대한 강건성
  • 구조를 먼저 찾는다. 대칭, 제어기, 감각 상관관계처럼 이미 알고 있는 것을 정책의 출발점으로 삼는다.
  • 전문가를 최종 답으로 쓰지 않는다. 기존 컨트롤러는 다양한 후보 행동을 제공하는 데이터 생성기로 재해석한다.
  • 분해한 뒤 다시 증류한다. 탐색은 좁은 하위 문제에서 집중시키고, 배포는 하나의 일반 정책으로 단순화한다.
  • 성공률만 보지 않는다. 관절 여유, 접촉 힘, 손상 가능성처럼 성공의 질을 함께 평가한다.

중장비와 고비용 로봇에
무엇을 옮길 수 있는가

이 연구의 가장 직접적인 적용처는 실기 탐색의 실패 비용이 큰 시스템이다. 굴착기, 산업용 양팔 로봇, 대형 모바일 매니퓰레이터처럼 한 번의 잘못된 행동이 장비 손상이나 안전사고로 이어지는 영역에서는 “실기에서 많이 시도한다”는 학습 전략 자체가 성립하기 어렵다.

1. 기존 제어 로직을 학습 데이터 공장으로 바꾼다

중장비에는 이미 오랜 기간 다듬어진 유압 제어 로직과 궤적 생성기가 있다. 이를 완성된 자동화 정책으로 고정하기보다 조건과 가중치를 랜덤화해 대량의 준최적 궤적을 생성하고, 오프라인 RL이 좋은 구간을 선택하도록 만들 수 있다. 원격조작 데이터를 처음부터 대규모로 모으지 않고 시작할 수 있다는 점이 실용적이다.

2. 보상은 공정별 서술이 아니라 재사용 항으로 설계한다

align + contact + goal + reset 구조는 굴착 공정에도 자연스럽게 대응된다. 버킷 정렬, 토양 접촉, 적재 목표 자세, 다음 사이클을 위한 초기화로 나누면 과제마다 긴 기준 궤적을 만드는 부담을 줄일 수 있다.

3. 압력과 힘 신호는 표현 학습을 거쳐 사용한다

유압 압력이나 힘 센서의 원시 값을 정책에 바로 연결하기보다, 무작위 상호작용 데이터에서 시각·관절·압력 신호의 관계를 먼저 학습시키는 가설을 시험할 가치가 있다. 구현 단계에서는 학습 가능한 쿼리와 cross-attention을 critic 쪽에만 두는 비대칭 구조가 구체적인 출발점이 될 수 있다.

안전 관점의 경계

실험실 로봇에서 80% 성공률로 문을 여는 것과, 수 톤의 하중을 다루는 장비가 같은 성공률로 작업하는 것은 전혀 다른 문제다. 실제 배포에는 제약 기반 안전 계층, 보수적 불확실성 추정, 실패 복구, 감독 체계가 추가로 필요하다.

유망하지만 아직
끝나지 않은 질문들

  • 대칭의 적용 범위: SYMDEX는 명확한 형태학적 대칭이 있는 시스템에서 가장 자연스럽다. 대칭이 약하거나 깨진 embodiment에는 그대로 적용하기 어렵다.
  • 성공률의 간극: 80%와 68%는 연구 결과로 의미 있지만, 높은 가동률과 극저 실패율이 필요한 상용 환경의 기준에는 미치지 못한다.
  • 시뮬레이션 의존: 합성 데이터의 범위와 품질은 시뮬레이션 환경에 좌우된다. 발표자 역시 학습용 시뮬레이션 구축이 아직 초기 단계라고 인정한다.
  • 표현 목적 함수: 왜 다음 관측 예측이 현재 관측 재구성보다 나빴는지는 완전히 규명되지 않았다. 숨은 상태와 센서 가시성의 관계를 더 분석해야 한다.

Q&A: 리셋할 수 없는 과제는 어떻게 배울까

peg-in-hole처럼 로봇이 스스로 되돌릴 수 있는 과제에서 얻은 표현을 조립처럼 되돌리기 어려운 과제에 어떻게 일반화할 수 있느냐는 질문이 나왔다. Chalvatzaki는 리셋 절차를 과도하게 엔지니어링하는 대신 reset-free RL과 계층적 하위 목표 발견을 결합하는 방향을 강조했다. 기계학습에서 축적된 하위 목표 발견 연구를 로보틱스로 다시 가져오는 것이 다음 단계라는 제안이다.

출처와 읽기 메모

  1. 본문은 Georgia Chalvatzaki의 ICRA 2026 RL4IL 워크샵 발표 를 요약·재구성한 연구 노트다. 인용문은 발표 내용을 바탕으로 한 한국어 편집 번역이다.
  2. SYMDEX는 발표에서 Li, Z. et al., CoRL/PMLR 2025 연구로 소개됐다. 본문은 발표 슬라이드에 제시된 bilateral symmetry, equivariant policy, decomposition, distillation의 관계를 중심으로 정리했다.
  3. WHOLE-MoMa의 알고리즘 구성과 80%·68% 수치는 발표 슬라이드와 실물 시연에서 보고된 결과다. 서로 다른 평가 조건의 수치를 직접 비교하는 용도로 사용해서는 안 된다.
  4. 자기지도 다중감각 사전학습 연구는 발표에서 RA-L 게재 연구로 소개됐다. 20개 데모, 2,000개 무작위 샘플, 55분 학습 결과는 발표자가 제시한 실세계 peg-in-hole 설정에 한정된다.
  5. FoundationPose, IQL, AWR, diffusion transformer, LVLM 등의 명칭은 원 발표의 구현 설명을 보존한 것이다. 이 글은 개별 알고리즘의 재현 문서가 아니라 발표의 설계 논리를 비교하는 해설 보고서다.

함께 읽을 주제

더 많이 따라 하는 것이
언제나 답은 아니다

이 발표의 핵심은 모방학습을 버리자는 것이 아니다. 데모가 잘하는 일과 하지 못하는 일을 구분하자는 것이다. 데모는 목표를 보여준다. 대칭은 경험을 공유하게 한다. 오프���인 RL은 불완전한 행동을 개선한다. 자기지도 감각 학습은 보이지 않는 접촉을 읽게 한다.

로봇에게 필요한 것은 완벽한 스승 한 명이 아니라, 각기 다른 빈틈을 메우는 여러 종류의 구조적 단서일 수 있다. 원격조작을 줄이는 길은 사람의 데이터를 없애는 데 있지 않다. 사람이 제공한 작은 힌트를 로봇의 구조, 시뮬레이션, 제어 지식, 감각 경험과 결합해 더 멀리 확장하는 데 있다.