Abstract
이 연구의 핵심은 새로운 단일 알고리즘보다 실패를 분해하는 방식에 있다. 체형과 자세의 다양성은 시뮬레이션이 담당하고, 접촉력처럼 시뮬레이터가 재현하지 못하는 물리는 실세계 데이터로 보정한다. 보상 함수를 코드로 작성할 수 없는 장면에서는 VLM에게 절대 점수를 요구하지 않고 두 관측의 상대적 진전을 비교하게 한다. 그 결과 안전을 위한 힘 제약은 착의 성능을 희생하지 않았고, 오히려 로봇이 막힌 상태에서 빠져나오는 능력을 높였다. 로봇 착의라는 하나의 과제를 수년간 밀어붙이며 표준 RL에서 FMVP까지 도달한 과정은, 접촉 중심의 실세계 로봇 학습을 설계하는 압축된 사례 연구다.
Key Findings
이 발표에서 가져가야 할 여섯 가지
천의 일반 동역학은 쓸 만했지만 접촉력은 전이되지 않았고, 사람의 움직임을 넣으면 물리가 불안정해졌다.
힘을 감지한 정책은 위험 행동을 피하는 데 그치지 않고 막힌 상태를 벗어나 더 높은 착의율을 달성했다.
두 장면 중 어느 쪽이 더 진전됐는지 묻는 선호 학습이 CLIP 계열 및 VLM 원시 점수보다 안정적이었다.
힘 동역학 모델은 정책보다 표본 효율이 높아 적은 실세계 데이터로 안전 필터를 구축할 수 있다.
VLM 선호로 무라벨 데이터에 보상을 붙인 오프라인 RL은 같은 데이터를 모방한 정책보다 높은 성능을 냈다.
“로봇이 나와 싸우는 것 같다”는 사용자 경험이 다음 연구 문제를 규정했고 편안함을 1급 평가 지표로 만들었다.
Evidence 01 · Problem Definition
왜 하필 착의 보조인가
수요는 명확하지만, 로봇 학습이 피하고 싶은 난제가 한 작업 안에 모두 들어 있다.
발표가 제시한 출발점은 간병 현장의 필요다. 요양시설 거주자와 재택 간병 환자의 92%가 옷을 입는 데 도움을 필요로 한다. 이 반복적인 돌봄 노동을 로봇이 맡을 수 있다면 간병인의 부담을 크게 줄일 수 있다.
그러나 의복은 잡는 즉시 형태가 바뀌는 변형체다. 옷을 입는 사람도 고정된 지그가 아니다. 팔을 움직이고, 몸을 틀고, 접촉에 불편함을 느낀다. 정책은 서로 다른 체형과 자세, 다양한 소매 형태를 처리하면서도 사람에게 가하는 힘을 안전하게 유지해야 한다.
Evidence 02 · Generalization
한 사람에게 성공한 정책은 왜 여러 사람 앞에서 무너졌나
초기 설정은 비교적 표준적이다. 의복·팔·엔드이펙터로 분할한 포인트 클라우드를 관측으로 사용하고, 엔드이펙터 변위를 행동으로 낸다. 시뮬레이터의 특권 정보를 이용해 팔이 얼마나 소매 안으로 들어갔는지를 보상으로 계산하고 SAC로 정책을 학습한다.
한 사람만 상대할 때는 작동했다. 하지만 여러 체형과 자세를 한 정책에 넣는 순간 관측 공간과 보상의 분산이 너무 커져 수렴하지 않았다. 연구팀은 더 큰 모델을 투입하는 대신 과제 공간을 먼저 좁혔다.
분할 정복: 교사는 좁게, 학생은 넓게
인체 자세를 여러 범주로 나누고 범주마다 별도의 교사 정책을 RL로 학습한다. 각 교사는 제한된 분포만 다루므로 안정적으로 수렴한다. 이후 모든 교사의 행동 데이터를 모아 행동 복제로 하나의 학생 정책에 증류한다. 최종 학생은 단일 정책이면서도 여러 체형과 자세를 처리한다.
Evidence 03 · Failure in Contact
카메라에 보이지 않는 순간, 로봇은 사람과 싸우기 시작했다
정책 증류는 다양성 문제를 완화했지만 접촉의 질까지 해결하지는 못했다. 긴 소매가 팔을 가리면 비전 정책은 천 안에서 무슨 일이 벌어지는지 알 수 없다. 사용자가 팔을 조금만 움직여도 로봇은 변화에 대응하지 못한 채 계속 당기거나 멈췄다.
같은 행동을 시뮬레이션에서 재현해도 실세계의 힘 측정값과 맞지 않았다. 파라미터를 조정해도 전이에 충분한 수준으로 좁혀지지 않았다. 사람 팔의 움직임까지 학습에 넣으려 하면 시뮬레이터의 천 물리가 불안정해져 발산했다.
| 학습 환경 | 강점 | 확인된 약점 | 연구에서 맡긴 역할 |
|---|---|---|---|
| 시뮬레이션 | 대규모 데이터, 체형·자세·의복 다양성 | 접촉력 불일치, 움직이는 인체에서 물리 불안정 | 일반화 가능한 비전 정책 |
| 실세계 | 실제 센서 힘과 접촉 결과 | 수집 비용, 안전 부담, 분포 제한 | 힘 동역학과 정책 미세조정 |
Evidence 04 · FCVP
해법 1: 정책은 시뮬에서, 힘 예측은 실세계에서
FCVP는 기존 비전 정책을 버리지 않는다. 정책이 행동 하나를 바로 실행하는 대신 여러 후보 행동을 샘플링한다. 실세계에서 학습한 힘 동역학 모델이 각 후보가 만들 다음 힘을 예측하고, 임계값을 넘는 후보를 제거한다. 안전한 후보 가운데 정책 확률이 가장 높은 행동만 실행한다.
이 절충이 실용적인 이유는 힘 동역학 모델이 전체 정책보다 훨씬 빨리 학습되기 때문이다. 실세계에서 모든 체형과 의복을 다시 경험할 필요 없이, “이 상태에서 이 행동을 하면 다음 힘이 얼마나 커지는가”라는 좁은 예측 문제만 학습한다.
힘 제약은 정책을 소극적으로 만드는 장치만이 아니었다. 접촉이 비정상적으로 커지는 행동을 제거하자 로봇은 막힌 상태를 회피했고 결과적으로 착의 진전도 높아졌다.
Evidence 05 · Reward without Privileged State
해법 2: 보상을 코드로 쓸 수 없다면 두 장면을 비교한다
실세계 RL로 넘어가면 또 다른 벽이 나타난다. 시뮬레이터에서는 팔이 소매 안으로 얼마나 들어갔는지 내부 상태로 계산할 수 있지만, 실세계에서는 카메라와 센서의 원시 관측만 얻는다. LLM에게 보상 코드를 생성하게 해도 그 코드가 읽을 완벽한 상태값이 없다.
이미지와 목표 이미지의 임베딩 거리를 사용하는 CLIP 계열 보상도 대안이지만, 언어–이미지 사전학습 분포에 묶이고 픽셀 수준의 변화에 흔들려 노이즈가 컸다. 연구팀은 사람의 판단 방식에서 다른 단서를 찾았다.
같은 장면에 절대 점수를 매기게 하면 사람마다 점수가 다르고, 같은 사람도 시간에 따라 다른 숫자를 준다. 그러나 두 장면 중 어느 쪽이 더 진행됐는가에 대한 순서는 비교적 일관됐다. VLM에도 숫자 대신 비교를 요청해야 한다는 설계가 여기서 나온다.
RL-VLM-F: 설명 한 줄에서 보상 모델까지
관측 두 개와 “천을 대각선으로 접어라” 같은 과제 설명을 VLM에 제공하고 어느 관측이 목표에 더 가까운지 묻는다. 이 선호 라벨로 보상 모델을 학습한 뒤 해당 보상으로 정책을 개선한다. 사람이 제공하는 것은 과제 설명 한 줄뿐이다.
프롬프팅도 두 단계가 더 효과적이었다. 먼저 두 이미지에 무엇이 보이고 어떤 차이가 있는지 서술하게 한다. 그 다음 어느 쪽이 더 진행됐는지, 또는 둘 다 적절하지 않은지를 라벨링한다. 관찰을 언어로 명시한 뒤 판단하게 만들어 비교의 일관성을 높인 것이다.
무라벨 실세계 데이터에 보상을 붙이다
실세계에서는 보상이 없는 준최적 데이터셋에서 관측쌍을 뽑아 VLM이 비교한다. 선호 데이터로 학습한 보상 모델이 데이터셋 전체에 보상을 라벨링하고, 이후 IQL 기반 오프라인 RL이 좋은 행동을 더 높은 확률로 선택하도록 정책을 개선한다.
ViperX 300s 로봇과 마네킹 실험에서 이 접근은 같은 준최적 데이터를 그대로 모방한 DP3보다 높은 팔 착의 비율을 기록했다. 모방은 데이터의 평균에 머물지만, 보상은 데이터 안에서 더 나은 행동을 구별하게 한다.
Evidence 06 · FMVP
최종 통합: 시뮬 비전 정책에 실세계 힘을 사후 주입한다
FMVP는 시뮬레이션에서 학습한 비전 정책을 초기값으로 사용하고, FiLM 조건화 레이어를 추가해 실세계 힘 정보를 주입한다. 전체 정책은 실세계 데이터로 오프라인 미세조정된다. 좋은 시뮬레이션 초기화가 있으므로 처음부터 실세계에서 정책을 학습할 때보다 필요한 데이터가 적다.
보상은 두 목적을 합친다. 실제 힘 센서가 임계값 이하인지 평가하는 힘 보상과, RL-VLM-F가 제공하는 착의 진전 보상이다. 목표는 간단하다. 사람에게 가하는 힘은 낮추고, 팔이 입혀진 비율은 높인다.
움직이는 사람을 상대로 한 평가
최종 사용자 연구에는 8명이 참여해 총 192회의 착의를 수행했다. 참가자는 착의 도중 팔을 올리고, 굽히고, 펴고, 물병이나 전화를 받거나 머리를 긁었다. 학습에 포함된 움직임뿐 아니라 처음 보는 움직임도 평가했다.
FMVP는 비전 전용 기준선보다 편안함 리커트 점수가 유의하게 높았고 p < 0.05, 팔 착의 비율도 높았다. 힘 조건화는 단순히 멈추는 안전장치가 아니라 사람의 움직임에 맞춰 행동을 수정하는 정보 채널로 작동했다.
Research Arc
각 실패가 다음 방법을 결정했다
| 관찰된 실패 | 문제의 정확한 위치 | 도입한 방법 | 얻은 효과 |
|---|---|---|---|
| 다양한 체형과 자세에서 RL이 수렴하지 않음 | 관측 공간과 보상 분산 | 범주별 교사 정책과 정책 증류 | 다양한 자세를 처리하는 단일 학생 정책 |
| 가림과 사람 움직임에서 로봇이 끼임 | 비전 정책의 힘 감각 부재 | FCVP 힘 예측 및 행동 필터 | 힘 위반 감소와 착의 성능 유지 |
| 실세계에 특권 상태 기반 보상이 없음 | 절대 점수와 임베딩 보상의 불안정성 | RL-VLM-F 비교 선호 보상 | 무라벨 데이터의 자동 보상 라벨링 |
| 비전과 힘의 분리된 처리 | 접촉 정보가 정책 표현에 직접 반영되지 않음 | FMVP의 FiLM 조건화와 오프라인 RL | 움직이는 사람에게 더 편안하고 높은 착의율 |
Implications
이 구조는 굴착기 같은 접촉 중심 기계에도 옮겨갈 수 있다
착의 보조와 중장비 작업은 규모가 전혀 다르지만 학습 문제의 구조에는 공통점이 있다. 환경의 기하와 작업 조건은 다양하고, 실제 접촉력은 시뮬레이션으로 정확히 맞추기 어렵다. 이 연구가 제시한 역할 분담은 다음과 같이 번역할 수 있다.
- 시뮬레이션은 일반화를 담당한다. 지형, 기하, 작업 순서와 시야 조건의 다양성을 대규모로 학습한다.
- 실세계는 반력과 접촉 결과를 담당한다. 토양 반력처럼 모델링 오차가 큰 물리는 실제 센서 데이터로 보정한다.
- 작은 동역학 모델을 안전 필터로 먼저 활용한다. 정책 전체를 실기에서 다시 학습하지 않고 행동별 반력을 예측해 위험 후보를 사전에 제거한다.
- 완료도를 수치화하기 어렵다면 비교 보상을 검토한다. 두 굴착 결과 중 목표에 더 가까운 쪽을 판단하게 하는 방식은 절대 점수보다 안정적일 수 있다.
- 사람의 체감 안정성을 별도 지표로 둔다. 주변 작업자나 동승 오퍼레이터가 느끼는 예측 가능성과 안정성은 작업량만큼 중요한 평가값이다.
이 연구는 저속·저출력 매니퓰레이터를 전제로 한다. 사람과 접촉하며 힘을 줄이는 문제와 수 톤급 하중을 제어하는 문제는 허용 가능한 오차와 안전 여유가 다르다. 특히 VLM이 현장 영상을 올바르게 판단하는지는 별도의 도메인 검증이 필요하다.
Limitations & Open Questions
남은 한계는 ‘결합의 깊이’다
- FCVP와 FMVP 모두 양은 줄었지만 실세계 데이터 수집 자체를 제거하지는 못했다.
- 오프라인 RL은 수집 데이터의 지원 범위를 크게 벗어난 상황에서 성능을 보장하기 어렵다.
- VLM이 가림, 천의 주름, 미세한 착의 진전을 오판할 때의 방어책은 발표에서 충분히 다뤄지지 않았다.
- FiLM은 효과적이지만 힘과 시각 장면 사이의 물리적 원인을 명시적으로 연결하는 구조는 아니다.
Q&A에서 Held가 제시한 이상적인 방향은 힘을 장면에 접지하는 것이다. 즉 “이 힘이 어떤 물체가 어디에 눌리거나 쓸리면서 발생했는가”를 정책이 시각적으로 추론해야 한다. 비주얼 월드 모델을 힘으로 조건화하는 접근이 한 후보지만, 어떤 아키텍처가 적합한지는 아직 열린 문제로 남았다.
Reader Takeaway
좋은 실세계 로봇 학습은 시뮬레이션을 버리지도, 맹신하지도 않는다.
시뮬레이션이 잘하는 일반화와 실세계가 독점하는 접촉 정보를 분리한 뒤, 필요한 지점에서만 결합해야 한다. 이 사례의 가장 중요한 교훈은 “더 현실적인 시뮬레이터를 만들자”가 아니라 어떤 물리가 전이되지 않는지를 측정하고, 그 부분만 실세계에서 학습하자는 데 있다.
Sources & Notes
출처와 읽기 주의사항
- 1차 자료: David Held, “A Case Study of RL — Robot Assisted Dressing.” Zhanpeng He 채널, ICRA 2026 RL4IL Workshop, 2026년 6월 8일 게시, 28분 50초. 발표 영상 보기
- 본문에 기재한 92%, 인체 메시 6,000+, 참가자 17명×30회, 참가자 8명·192회, p < 0.05 등의 수치는 발표 슬라이드와 발표자의 설명을 기준으로 정리했다.
- FCVP, RL-VLM-F, FMVP의 구조와 결과는 공개 발표를 독자가 이해하기 쉬운 흐름으로 재구성한 것이다. 세부 실험 설정이나 통계적 검증에는 각 원 논문을 함께 확인해야 한다.
- 굴착기와 중장비에 관한 내용은 발표자의 직접 주장이라기보다, 발표에서 확인된 시뮬레이션–실세계 역할 분담을 접촉 중심 산업 로봇에 확장해 해석한 시사점이다.
- 함께 읽을 주제: Pulkit Agrawal의 시뮬레이션 사전학습·접촉 최적화 논의, Jason Ma의 실세계 프로덕션 로보틱스 데이터 수집 전략.