모델은 정책의 대체재가 아니다
제약, 최적화, 반례 탐색, 형식 검증처럼 구조가 가장 중요한 경계에서 모델 기반 도구를 사용하고, 복잡한 표현과 적응은 학습 정책에 맡긴다.
검증 가능한 구조와 확장 가능한 학습은 반드시 경쟁해야 할까. Lujie Yang의 강연을 따라, 신경 Lyapunov 제어·PhysicsGen·OmniRetarget이 로봇 학습의 데이터 부족과 보증 부재를 어떻게 함께 다루는지 살펴본다.
이 강연의 핵심은 모델 기반 방법과 학습 기반 방법 사이에서 승자를 고르는 데 있지 않다. 모델 기반 방법의 구조·최적화·검증 가능성을 학습 기반 방법의 표현력·적응성·확장성과 결합해, 로봇 학습의 두 병목인 비싼 데이터와 성능 보증의 부재를 줄이는 데 있다. 발표자는 이를 세 사례로 논증한다. 신경 Lyapunov 제어는 안정성 위반 상태를 학습 데이터로 되돌리고, PhysicsGen은 소수의 인간 시연을 동역학적으로 가능한 접촉 궤적 분포로 확장하며, OmniRetarget은 사람·로봇·물체·지형 사이의 상호작용을 보존해 전신 로코-매니퓰레이션의 기준 모션을 정제한다.
로봇 제어의 오래된 대립은 선명하다. 모델은 계산과 검증에 강하지만 현실을 완벽하게 담기 어렵고, 학습은 복잡한 지각과 행동을 흡수하지만 데이터와 신뢰성에 큰 비용을 지불한다. 이 강연은 그 대립을 해소하기보다, 각 방법이 가장 잘하는 역할을 다시 배치한다.
제약, 최적화, 반례 탐색, 형식 검증처럼 구조가 가장 중요한 경계에서 모델 기반 도구를 사용하고, 복잡한 표현과 적응은 학습 정책에 맡긴다.
잘못된 기준 모션을 복잡한 보상으로 수선하기보다, 최적화로 기준 데이터 자체를 고치면 정책 학습과 sim-to-real 전이가 단순해진다.
로코-매니퓰레이션에서는 관절 좌표의 일치보다 손–물체, 발–지면, 몸–지형의 상대적 관계가 과제 성공을 더 직접적으로 결정한다.
완전한 Lyapunov 인증은 저차원·폐형식 동역학에서 설득력이 크다. 고차원 접촉 시스템에서는 정책 성능과 검증 확장성 사이의 절충이 필요하다.
인터넷 영상은 다양하지만 물리·접촉 정보가 거칠다. 저품질 대규모 원천을 고품질 로봇 궤적으로 바꾸고 시각 지각까지 연결하는 문제가 남는다.
접촉을 만들고 끊으며 이동과 조작을 함께 수행하는 로봇에는 정확한 계획과 유연한 적응이 동시에 필요하다. 강연은 “모델인가, 학습인가”라는 질문을 “어디에 무엇을 배치할 것인가”로 바꾼다.
펜 스피닝처럼 정교한 손 조작에서 물류 작업, 양팔 협응, 휴머노이드의 물체 운반으로 범위가 확장되면 문제의 성격도 달라진다. 로봇은 긴 시간 동안 여러 접촉 상태를 오가면서 균형을 유지하고, 물체와 환경의 불확실성에도 대응해야 한다.
“핵심은 모델로 학습을 대체하는 것이 아니라, 학습이 가장 취약한 경계에 모델의 구조를 배치하는 것이다.” 강연의 세 사례를 관통하는 설계 원리
첫 번째 다리는 보증이다. 제어기만 학습하는 대신 관측기와 Lyapunov 함수까지 공동 합성하고, 안정성 조건을 위반하는 상태를 다음 학습 데이터로 되돌린다.
목표는 완전한 상태를 직접 읽는 상태 피드백을 넘어, 비전이나 LiDAR 관측으로 내부 상태를 추정하는 출력 피드백 시스템까지 안정성을 인증하는 것이다. 신경망 제어기, 상태 관측기, Lyapunov 함수가 하나의 폐루프 안에서 함께 학습된다.
학습 과정에서는 무작위 상태를 한 스텝 전개해 감소 조건 위반을 찾는다. 발견된 반례는 버퍼에 추가되고 제어기·관측기·Lyapunov 함수의 갱신에 사용된다. 마지막 단계에서는 샘플이 아니라 compact region 안의 무한히 많은 상태에 대해 완전 신경망 검증기를 적용한다.
두 번째 다리는 접촉이 풍부한 데이터 생성이다. 인간 시연은 긴 작업의 전역적 방향을 제공하고, 궤적 최적화는 그 주변에서 동역학적으로 실현 가능한 다양한 해를 만든다.
로봇 플릿과 원격조작자를 동원한 데이터 수집은 비싸고 느리다. 반면 기존 증강은 배경이나 외형을 바꾸는 시각적 변형에 집중해, 접촉 상태가 연속적으로 변하는 장기 조작 궤적의 물리적 타당성을 충분히 다루지 못했다.
운동학적으로 그럴듯한 재생도 로봇의 관성, 구동 한계, 접촉 마찰, 물체 질량이 달라지면 실패할 수 있다. PhysicsGen은 시연 추종과 제어 노력의 균형을 목적함수로 두고, 비관통·관절 한계·동역학·입력 제약을 적용한다. 동역학은 폐형식 방정식이 아니라 시뮬레이터의 time stepping으로 처리할 수 있다.
세 번째 다리는 전신 로코-매니퓰레이션 데이터다. 사람과 로봇의 관절 위치를 단순히 맞추는 대신, 몸·물체·지형 사이의 상대적 기하 구조를 보존한다.
조작은 모방학습, 이동은 강화학습이라는 서로 다른 도구 사슬로 발전해 왔다. 두 영역을 결합할 때 기존 재표적화는 물체와 지면의 관통, 발 미끄러짐, 장면 상호작용 손실을 만들기 쉽다. 이후 RL 보상으로 문제를 수선하면 reward engineering이 길고 취약해진다.
각 꼭짓점의 Laplacian 좌표는 그 점과 주변 이웃의 상대적 변위를 표현한다. 사람 측 source mesh와 로봇 측 target mesh의 Laplacian 변형 차이를 최소화하면, 절대 좌표가 달라져도 손–물체와 발–지면의 배치가 비슷하게 유지된다. 접촉을 hard label로 직접 강제하지 않고 관계를 소프트하게 보존하는 셈이다.
물체의 위치와 회전, 3축 크기, 로봇 embodiment, 플랫폼의 높이와 깊이를 바꾸고 최적화를 다시 푼다. 증강은 명목 기준 주변에 단순 잡음을 추가하는 것이 아니라, 목적 조건마다 고품질 기준 모션을 새로 생성하는 과정이다.
| 접근 | 주요 병목 | 모델 기반 도구 | 학습과의 연결 | 주요 경계 |
|---|---|---|---|---|
| Neural Lyapunov | 안정성 보증 부재 | Lyapunov 조건, 완전 NN 검증 | 반례 유도 공동 학습 | 폐형식 동역학과 검증 확장성 |
| PhysicsGen | 접촉 데이터 부족 | 재표적화, 궤적 최적화, 제약 | BC·diffusion policy용 데이터 | 시뮬레이터와 모델링 오차 |
| OmniRetarget | 전신 상호작용 손실 | interaction mesh, Laplacian 최적화 | imitation-guided RL | 접촉의 소프트 근사 |
세 기여의 최종 목적은 개별 알고리즘을 넘어선 범용 데이터 생성 계층이다. 상류의 데이터 소스와 하류의 학습법 모두에 독립적인 변환기를 지향한다.
Teleoperation, MoCap, YouTube와 인터넷 영상에서 들어온 인간 행동을 OmniRetarget과 PhysicsGen으로 정제하고, 행동 복제·강화학습·인증서 유도 학습에 공급한다. 이 관점에서 최적화는 한 번의 계획을 실행하는 도구가 아니라, 대규모 학습을 위한 데이터 생산 인프라가 된다.
질의응답에서 제시된 다음 단계는 세 갈래다. 첫째, MoCap보다 확장 가능한 인터넷·egocentric·tutorial video를 데이터 원천으로 활용하는 것. 둘째, 데이터의 양뿐 아니라 다양성·품질·물리적 fidelity를 함께 높이는 것. 셋째, 현재의 상태 기반 또는 시각 없는 proprioceptive 정책에 시각 지각을 통합하는 것이다.
세 접근은 모델 기반 구조가 학습을 강하게 만들 수 있음을 보여주지만, 각각의 성과는 분명한 전제와 실험 범위 안에서 읽어야 한다.
휴머노이드·사족보행까지 완전한 결정론적 인증을 확장하기는 어렵다. 정책 능력과 검증 가능성 사이에서 확률적·경험적 보증을 혼합할 필요가 있다.
Neural Lyapunov 접근은 폐형식 동역학을 요구하지만 PhysicsGen은 시뮬레이터 time stepping을 사용할 수 있다. 두 접근의 적용 범위는 동일하지 않다.
OmniRetarget은 접촉을 hard constraint로 직접 표기하지 않고 Laplacian 변형 최소화로 암묵적으로 보존한다. 접촉 복잡도가 커질수록 근사의 한계를 검증해야 한다.
미모델링 충돌 형상, 상태 추정 오류, 마찰과 물성의 불확실성은 남는다. 다양한 증강 데이터가 회복성을 높이지만 오차를 제거하는 것은 아니다.
영상은 규모와 의미 다양성이 크지만 깊이, 접촉력, 마찰, 가려진 신체 상태가 부족하다. 대규모 원천을 물리적으로 충실한 궤적으로 변환하는 과정이 핵심 난제다.
본 보고서는 360p 프레임과 로컬 ASR에 기반한다. 판독하기 어려운 그래프 수치와 고유명사는 추측하지 않았으며, 프로젝트명과 수치는 화면 근거를 우선했다.
이 강연이 제시하는 가장 강한 메시지는 절충이 아니라 배치의 원리다. 모델은 제약을 세우고, 최적화는 데이터를 정제하며, 검증은 실패 상태를 찾는다. 학습은 그 위에서 복잡성을 흡수하고 새로운 환경에 적응한다. 데이터와 보증이 병목이 되는 순간, 문제는 모델과 학습 중 하나를 고르는 일이 아니라 둘 사이에 정확한 다리를 놓는 일이 된다.
Duke Robotics 원강연 보기 →yt-dlp --dump-single-json --skip-download로 수집했다.small 영어 모드로 전사했다.