Field Notes / Robotics
Research Report · 2026.08.08

Production Robotics

RL보다 시스템이 먼저다
99.4% 로봇이 보여준 프로덕션 학습의 조건

Dyna Robotics 공동창업자 Jason Ma는 24시간 동안 냅킨 850장 이상을 접은 로봇에서 가장 중요했던 것이 정교한 실세계 강화학습이 아니었다고 말한다. 보상 모델을 사람의 개입과 운영 관측성을 배분하는 도구로 바꾼 것이 결정적이었다.

99.4% 24시간 연속 시험에서 보고된 작업 성공률
DYNA-1의 24시간 냅킨 접기 결과를 보여주는 발표 슬라이드
DYNA-1: 24시간 동안 냅킨 850장 이상을 접은 프로덕션 시험. 발표 화면 · 16:40

Abstract

알고리즘의 성능보다 실패를 발견하고 고치는 시스템이 중요해진다

이 보고서는 Jason Ma의 발표를 바탕으로 Dyna Robotics가 연구용 보상 모델을 상업용 로봇 학습·운영 시스템으로 확장한 과정을 분석한다. 초기에는 reward-weighted regression을 이용한 오프라인 RL로 24시간 신뢰성을 확보했지만, 정책은 에러 상태에서 2~3분씩 멈추며 상업적 처리량을 내지 못했다.

전환점은 보상 모델을 정책 최적화용 점수 함수가 아니라 실패 위치를 찾고 사람의 데이터 수집 시간을 배분하는 감독 도구로 사용한 것이었다. 같은 진행도 신호는 배치 후 작업 완료 분절, 사이클 시간 측정, 이상치 탐지에도 재사용됐다. 사례가 제시하는 중심 명제는 단순하다. 프로덕션 로보틱스에서 현재의 병목은 실세계 RL 자체보다 사전학습, 데이터 루프, 인프라, 하드웨어, 모니터링을 결합하는 시스템 설계에 더 가깝다는 것이다.

01

신뢰성과 상업성은 서로 다른 문제였다

오프라인 RL은 24시간 신뢰성을 만들었지만, 처리량과 빠른 에러 회복은 사람 개입 기반 능동 학습이 개선했다.

02

보상 모델의 가장 큰 가치는 자원 배분이었다

진행도 곡선이 깨지는 구간만 찾아 데이터 수집 인력을 투입함으로써 로봇 시간을 무작위 탐색보다 효율적으로 사용했다.

03

학습 신호가 운영 관측성으로 확장됐다

진행도 0→1 사이클은 완료 건수, 작업 시간, 이상치를 자동으로 추출하는 프로덕션 모니터가 됐다.

04

RL의 역할은 시스템이 좋아질수록 오히려 줄었다

기반 모델과 인프라를 개선한 뒤에는 1시간 미만의 과제 데이터와 표준 SFT만으로 더 나은 결과를 얻었다고 보고했다.

Evidence 01

보상 모델: “얼마나 잘하고 있는가”를 하나의 숫자로 만들기

연구 기반 · 발표자의 박사 연구와 Dyna 확장 사례

Ma의 연구 질문은 로봇과 세계의 상태를 보고 과제 진행도를 평가하는 범용 피드백 모델을 만들 수 있는가였다. 입력은 이미지 같은 관측이며 출력은 보상, 비용 또는 가치다. 같은 장면이라도 목표에 가까우면 높은 점수, 멀면 낮은 점수를 주도록 학습한다.

로봇 피드백 학습을 위한 범용 보상 모델의 개념을 설명하는 슬라이드
02:30 이미지 상태를 받아 수행 품질을 수치화하는 범용 피드백 모델.
LLM 보상 함수 생성과 대규모 실세계 데이터 가치함수 학습을 비교한 슬라이드
03:20 보상 함수를 작성하는 접근과 실세계 데이터에서 가치를 학습하는 접근.

VIP와 LIV: 임베딩 거리를 과제 진행도로 읽는다

VIP/LIV 계열의 아이디어는 입력 관측과 목표를 같은 잠재 공간에 배치한 뒤, 두 임베딩 사이의 거리를 가치함수처럼 사용하는 것이다. 목표는 이미지뿐 아니라 “유리잔을 치워라” 같은 언어 지시로도 표현할 수 있다. Ego4D 같은 대규모 인간 비디오로 학습한 표현이 학습 중 보지 못한 로봇 영상에서도 합리적인 진행도를 추정했다는 것이 출발점이다.

−V*(o; g) ≈ d(φ(o), φ(g))  or  d(φ(o), ψ(g)) 관측 이미지 임베딩 φ(o)와 이미지 목표 φ(g) 또는 언어 목표 ψ(g)의 거리를 과제 가치로 해석한다.
VIP와 LIV가 이미지 및 언어 목표와 현재 관측의 임베딩 거리를 가치함수로 사용하는 방법
04:20 현재 관측과 목표 사이의 잠재 거리가 과제 진행도를 구성한다.

첫 응용은 실세계 RL의 자동 감독이었다

학습한 보상 모델로 로봇이 서랍 열기 정책을 처음부터 학습하도록 감독할 수 있었다. 그러나 Ma는 이 방법을 오늘날 기준으로 “상당히 비효율적”이라고 평가한다. 가능한 연구 결과와 배치 가능한 제품 사이에는 로봇 시간, 실패 복구, 데이터 운영이라는 별도의 문제가 있었기 때문이다.

보상 모델을 이용해 서랍 열기 정책을 처음부터 학습한 실세계 강화학습 사례
06:10 보상 모델로 실세계 정책을 직접 학습한 초기 연구 사례.

Evidence 02

연구실 밖의 기준은 성공 여부가 아니라 24시간 운영이다

현장 사례 · 고객 사이트와 공개 데모

Dyna의 창업 동기는 연구실에서 유효했던 아이디어를 실제 고객 환경으로 옮겼을 때 무엇이 깨지는지 확인하는 것이었다. Ma가 제시한 배치 기준선은 70~80%가 아니라 99.9%에 가까운 신뢰성이다. 논문이나 짧은 데모에서 허용되는 작은 실패율도 하루 수백 번 반복되는 작업에서는 지속적인 운영 중단으로 누적된다.

연구실 연구를 실제 프로덕션 시스템으로 확장하려는 Dyna의 문제의식을 보여주는 슬라이드
07:00 실제 고객 사이트가 연구실에서는 보이지 않던 시스템 격차를 드러낸다.
Sacramento의 실제 세탁소에서 회색 수건을 접는 로봇
07:50 영업 중인 세탁소에서 수건을 접어 쌓는 현장 배치.
Red Bull 행사에서 도구를 사용해 캔을 여는 로봇
08:30 도구 사용과 복잡한 조작을 시연한 행사 사례.
CoRL 2025 부스에서 방해를 받은 뒤 처음 보는 티셔츠 접기를 회복하는 로봇
09:10 참관객의 방해와 처음 보는 셔츠에도 작업을 회복한 공개 부스 데모.

짧은 조작을 넘어 1분 이상의 장기 과제로

Dyna의 진행도 모델은 단순한 pick-and-place를 넘어 티셔츠와 냅킨 접기처럼 1분 이상 이어지는 변형체 조작의 진행도를 추정했다. 장기 과제에서는 단순한 성공·실패 라벨보다 “어느 시점에서 진전이 멈췄는가”가 훨씬 유용한 운영 정보가 된다.

여러 장기 로봇 과제에서 하나의 모델이 진행도를 추정하는 그래프
11:30 하나의 모델로 여러 장기 과제의 진행도 곡선을 추정한다.

의도적으로 좁힌 첫 시장: 레스토랑 냅킨 접기

팀은 범용 로봇 문제와 프로덕션 시스템 문제를 동시에 풀지 않기 위해 범위를 좁혔다. 레스토랑 뒷방에서 하루 수백 번 반복되고 수요가 명확한 냅킨 접기를 선택했다. 이는 단순한 데모 선정이 아니라 상업적 학습 전략이었다. 과제의 범위를 고정해야 처리량, 신뢰성, 비용, 원격 운영 같은 시스템 변수를 별도로 최적화할 수 있기 때문이다.

레스토랑 냅킨 접기를 첫 상업 과제로 선정한 사례 연구 슬라이드
12:10 반복성과 수요가 확실한 단일 공정으로 문제 범위를 제한했다.

첫 24시간 정책: 성공했지만 너무 느렸다

초기 레시피는 세 단계였다. 멀티태스크 데이터로 VLA를 사전학습하고, 같은 데이터로 보상 모델을 학습한 뒤, 보상이 높다고 평가한 샘플에 더 큰 가중치를 주는 reward-weighted regression으로 정책을 후속 학습했다. 온라인 탐색을 사용하지 않은 오프라인 RL이다.

θ* = arg maxθ E(s,a)∼D[exp(R(s,a)/β) · log πθ(a|s)] 보상 모델이 좋은 전이에 더 큰 학습 가중치를 부여한다. 구현 형태는 가중 행동복제 또는 VLA 후속 학습과 가깝다.

이 정책은 장시간 신뢰성을 달성했지만 에러 상태에서 2~3분씩 멈췄다. “끝까지 성공한다”는 조건은 만족했어도 한 시간에 처리할 수 있는 냅킨 수가 부족했다. 프로덕션에서는 성공률과 함께 복구 시간과 처리량이 독립적인 KPI라는 사실이 드러났다.

VLA 사전학습, 보상 모델, reward-weighted regression으로 구성된 냅킨 접기 정책과 속도 한계
13:50 24시간 신뢰성은 확보했지만 긴 정지 시간 때문에 상업적 처리량에는 미달했다.

Evidence 03

보상 모델을 학습기에서 감독관으로 바꾸다

핵심 방법 · Human-in-the-loop active learning

정상 작업에서는 진행도 점수가 대체로 0에서 1을 향해 상승한다. 로봇이 실수하거나 멈추면 이 단조 증가 패턴이 깨진다. Dyna는 정책과 보상 모델을 동시에 실행해 이상 구간을 자동 표시하고, 데이터 수집 인력을 바로 그 실패 상태에 투입했다.

01 · Observe 정책과 진행도 모델을 고객 환경에서 함께 실행
02 · Detect 정체, 하락, 비정상적으로 긴 사이클을 탐지
03 · Intervene 사람이 어려운 상태에서 시범 또는 복구 데이터를 제공
04 · Retrain 롱테일 사례를 집중 반영해 정책을 다시 학습
05 · Monitor 같은 진행도 신호로 배치 성능과 이상치를 추적
정상 진행도와 오류 진행도를 비교하며 human-in-the-loop 능동 학습을 설명하는 슬라이드
15:20 진행도 패턴이 깨지는 순간을 데이터 수집의 우선순위로 바꾼다.

보상 모델의 가장 큰 가치는 정책에 점수를 주는 것이 아니라, 사람의 시간을 어디에 쓸지 알려주는 데 있었다.

발표 내용에 대한 본 보고서의 핵심 해석

결과: 24시간, 냅킨 850장 이상, 성공률 99.4%

능동 학습 루프를 거친 DYNA-1은 24시간 무중단 시험에서 냅킨 850장 이상을 접었고 99.4% 성공률을 기록했다. Ma는 발표 시점의 처리량이 이 시험보다 다시 약 80% 개선됐으며, 사무실에서 네 차례 진행한 24시간 시험도 모두 좋은 결과를 보였다고 설명했다. 수치는 발표자가 보고한 결과이며 독립적인 외부 검증치는 아니다.

99.4퍼센트 성공률과 24시간 냅킨 850장 이상의 DYNA-1 결과
16:40 DYNA-1의 장시간 신뢰성 및 처리량 결과.

데이터셋에 없던 실패에서도 나타난 회복 행동

촬영 도중 로봇이 냅킨 더미 전체를 쓰러뜨리는 심각한 실패가 발생했지만, 정책은 스스로 상태를 수습하고 작업을 이어갔다. 모든 실패를 열거하기 어려운 변형체 조작에서 몇 차례의 능동 수집만으로 훈련 데이터에 없던 실수까지 회복이 일반화됐다는 점을 Ma는 가장 놀라운 결과로 꼽았다. 다만 발표에는 이러한 일반화가 발생한 원인이나 체계적인 범위 분석은 포함되지 않았다.

로봇이 쓰러진 냅킨 더미를 스스로 수습하는 회복 사례
17:30 학습 데이터에 명시적으로 포함되지 않은 대형 실패에서의 회복 사례.
접근 로봇 시간의 사용 주요 효용 프로덕션 위험
실세계 온라인 RL 환경에서 탐색하고 시행착오를 축적 사람이 제공하기 어려운 행동 발견 가능 느린 탐색, 안전 부담, 장비 점유
오프라인 RWR 기존 데이터에 보상 기반 가중치 적용 온라인 탐색 없이 신뢰성 개선 데이터 밖의 실패 상태가 남을 수 있음
사람 개입형 능동 학습 모델이 어려워하는 구간에만 수집 집중 처리량과 에러 회복을 빠르게 개선 운영 인력과 정확한 이상 탐지가 필요
표준 SFT 작은 과제별 데이터로 정책 적응 시스템과 기반 모델이 충분할 때 단순하고 효율적 기반 표현과 데이터 품질에 크게 의존

Evidence 04

도발적 주장: 실세계 RL은 아직 병목이 아니다

발표 후반부에서 Ma는 자신의 견해를 명시적으로 “hot take”라고 부른다. 그가 RL 자체를 부정하는 것은 아니다. 현재 프로덕션 조작이 아직 인간 수준에 못 미치는 상황에서, 초인적 최적화를 위해 강점을 발휘하는 RL을 먼저 적용하는 것이 자원 배분상 최선인지 묻는다.

실세계 강화학습이 프로덕션 로봇 조작의 병목인지 질문하는 세 가지 주장
22:50 실세계 RL, 탐색 효율, Real-to-Sim-to-Real에 관한 세 가지 주장.

Jason Ma의 세 가지 주장

  1. 먼저 human parity에 도달해야 한다. 실세계 RL은 아직 프로덕션급 조작의 첫 번째 병목이 아니다.
  2. 실세계 탐색은 너무 비싸다. 같은 로봇 시간을 사람 개입과 어려운 사례 수집에 쓰는 편이 현재는 더 효율적이다.
  3. 유망한 연구 방향은 Real-to-Sim-to-Real이다. 실제 데이터로 시뮬레이션과 전이 과정을 개선한 뒤 RL을 활용하는 경로가 조작에서 더 현실적일 수 있다.

Dyna가 실세계 RL에 기대했던 문제는 결과적으로 더 나은 엔지니어링, 사전학습, 하드웨어, 데이터 인프라로 해결됐다. 시스템이 개선된 뒤에는 한 시간 미만의 과제별 데이터와 표준 지도 후속 학습만으로 이전보다 좋은 결과를 얻었다고 한다. 이 사례에서 RL의 비중은 제품이 발전할수록 커지지 않고 오히려 줄었다.

다만 이 결론은 “현재 조작 성능이 사람 이하”라는 조건에 묶여 있다. 사람이 쉽게 시범을 제공할 수 없거나 초인적 성능이 필요한 단계에 도달하면 탐색과 장기 최적화의 상대적 가치가 다시 커질 수 있다. 따라서 더 정확한 해석은 “RL이 불필요하다”가 아니라 “현재의 프로덕션 병목을 확인하기 전에 RL부터 선택하지 말라”에 가깝다.

Evidence 05

배치 이후의 문제: 모델이 오늘 제대로 일했는지 어떻게 아는가

운영 시스템 · Progress-based observability

여러 고객 사이트에서 로봇이 자율로 작동하면 엔지니어는 모든 영상을 볼 수 없다. 성공률을 계산하려면 먼저 작업의 시작과 종료를 알아야 하고, 문제가 발생한 구간을 수십 시간의 영상에서 찾아야 한다. 보상 모델은 이때 학습 신호가 아니라 운영 관측성 계층이 된다.

여러 고객 사이트의 로봇 상태를 파악하는 모델 관측성 문제를 설명하는 슬라이드
23:30 자율 운영 중인 로봇을 언제 사람이 검토해야 하는가.
진행도 신호를 이용해 냅킨 접기 완료 시점과 소요 시간 통계를 표시하는 대시보드
24:20 진행도 0→1 사이클로 완료 이벤트와 작업 시간을 자동 분절한다.

진행도가 0에서 1로 상승하면 한 번의 접기 사이클이고, 다시 0으로 돌아가면 새 작업의 시작으로 해석할 수 있다. 이 신호만으로 완료 건수, 평균·중앙값 소요 시간, 긴 정체 구간을 자동 산출할 수 있다. 정책과 진행도 추정기를 분리하면 정책이 계속 후속 학습되더라도 모니터링 기준선은 안정적으로 유지할 수 있다.

14초짜리 이상치가 찾아낸 뜻밖의 성공

중앙값이 약 25초인 작업에서 14~15초 만에 끝난 기록이 발견됐다. 해당 영상만 추출해 확인하자 호기심 많은 식당 직원이 냅킨을 로봇 앞에 놓아준 장면이었다. 모델은 이를 비정상적으로 빠른 성공으로 기록했다. 이상 탐지 도구가 없었다면 엔지니어는 최대 16시간 분량의 영상을 직접 훑어야 했다.

식당 직원이 냅킨을 로봇 앞에 놓아 작업 시간이 짧아진 이상치 장면
25:40 통계적 이상치에서 찾아낸 사람 개입 장면.

가장 성능이 좋은 ‘RL 시스템’은 RL보다 시스템에 더 집중한다.

Jason Ma 발표의 결론을 한국어로 요약
보상 모델링은 과소탐구되었으며 RL 시스템은 알고리즘보다 시스템이 중요하다는 결론 슬라이드
27:10 보상 모델의 확장성과 시스템 중심 RL이라는 최종 메시지.

Implications

현장 로봇과 중장비에 옮길 수 있는 다섯 가지 원칙

냅킨 접기와 굴착·상차는 규모와 위험이 크게 다르다. 그러나 실제 현장에서 값을 만들고 원격으로 운영해야 한다는 시스템 조건은 닮아 있다. 특히 안전상 무작위 탐색이 불가능한 중장비에서는 이 발표의 데이터 운영 방식이 더 직접적인 의미를 가진다.

  • 과제 범위를 먼저 좁힌다. 범용 자율 굴착보다 정해진 적재 위치와 반복 사이클을 가진 단일 공정부터 시작한다.
  • 성공률과 복구 시간을 분리해 측정한다. 결국 성공한 작업도 몇 분씩 멈춘다면 상업적 처리량을 충족하지 못한다.
  • 실세계 탐색 대신 숙련자 개입 데이터를 우선한다. 진행도가 멈춘 순간에 오퍼레이터의 복구 행동을 수집하면 안전과 데이터 효율을 함께 확보할 수 있다.
  • 진행도 모델을 원격 관측성에 재사용한다. 굴착·선회·상차처럼 경계가 분명한 사이클을 분절해 사이클 시간과 이상 구간을 자동 추출한다.
  • 고객이 감당할 총비용에서 역산한다. 테이블탑 로봇의 5만 달러 기준을 그대로 적용할 수는 없지만, 수용 가능한 가격과 회수 기간을 먼저 확인하는 접근은 동일하다.
냅킨 접기 시스템 중장비 적용 예 관측 가능한 KPI
진행도 0→1 굴착→선회→배출→복귀 사이클 사이클 완료 수, 평균·중앙값 시간
진행도 정체 또는 하락 버킷 진입 실패, 토질 변화, 장애물 회피 정체 시간, 수동 개입률, 복구 성공률
빠르거나 느린 이상치 불완전 적재, 작업자 개입, 예외 경로 이상 사이클 자동 추출 및 검토 우선순위
능동 데이터 수집 숙련 오퍼레이터가 실패 상태에서 복구 시범 제공 수집 시간당 신규 실패 유형, 재발률 감소

실무 Q&A에서 드러난 운영 판단

롱테일 실패를 찾으려면 결국 최신 정책을 현장에서 실행해야 한다. 차이는 사람이 계속 지켜보는 대신 예상보다 오래 걸린 구간만 나중에 추출한다는 점이다. 필요하다면 장면을 의도적으로 교란해 실패를 유도할 수도 있다. 반복 과정에서 모델의 취약 패턴을 알게 되면 탐색 주기도 짧아진다.

변형체 시뮬레이션은 현실과의 물리 차이가 크고, 충실도를 높이면 속도가 크게 떨어진다. Dyna는 냅킨 접기에서는 시뮬레이터를 조정하는 것보다 실세계 반복이 더 빨랐다고 판단했다. 반대로 사람과 장비의 안전이 중요한 도메인에서는 Real-to-Sim-to-Real 경로의 가치가 더 커질 수 있다.

VLA에 진행도 예측 헤드를 함께 붙이는 것은 표현 학습에는 도움이 될 수 있지만, 운영 기준선의 안정성을 위해 정책과 모니터를 분리하는 편이 낫다는 조언도 주목할 만하다. 정책이 새 데이터로 계속 변할 때 모니터까지 함께 표류하면 장기간의 성능 비교가 어려워진다.

Limitations & Source Notes

이 주장을 어디까지 믿을 것인가

해석상의 한계

  • 핵심 근거는 한 회사가 의도적으로 좁힌 냅킨·수건 접기 과제에서 얻은 경험이다. 다른 로봇 형태와 작업으로의 일반화는 추가 검증이 필요하다.
  • 99.4%, 850장 이상, 처리량 80% 개선, 네 차례의 장기 시험은 발표자가 보고한 수치다. 본 보고서는 원시 로그나 독립 평가 자료를 확인하지 않았다.
  • 진행도 기반 관측성은 반복 사이클과 명확한 완료 상태가 있는 작업에서 특히 유효하다. 경계가 모호하거나 목표가 계속 변하는 작업에는 별도의 분절 방법이 필요하다.
  • 학습 데이터에 없던 실패로부터의 회복은 인상적이지만, 발생 원인과 재현 범위에 대한 정량 분석은 발표에 제시되지 않았다.
  • “RL은 아직 병목이 아니다”라는 결론은 현재 로봇 조작이 인간 수준보다 낮다는 조건에 의존한다. 인간 수준에 가까워진 뒤에는 최적화 우선순위가 달라질 수 있다.

주요 출처

발표
Jason Ma, “Reinforcement Learning for Real-World Production Robotic Systems”
행사
ICRA 2026 RL4IL Workshop
채널
Zhanpeng He
게시일
2026년 6월 8일
영상 길이
36분 08초
원문 영상
YouTube에서 발표 보기
출처 성격
기업 공동창업자의 연구·제품 발표. 성능 수치는 발표자 보고 기준.

Closing Perspective

프로덕션 로봇은 정책 하나가 아니라 학습하고 관찰하고 복구하는 전체 루프다

이 발표의 가장 이식성 높은 아이디어는 특정 RL 알고리즘이 아니다. 학습을 위해 만든 진행도 모델을 데이터 수집의 우선순위 결정, 원격 모니터링, 사이클 통계, 이상치 추출에 연속적으로 재사용한 시스템 설계다.

프로덕션에서 좋은 모델은 더 높은 벤치마크 점수만 내는 모델이 아니다. 실패했을 때 무엇이 잘못됐는지 알려주고, 다음 데이터 한 시간을 어디에 써야 하는지 결정하며, 현장에 배치된 뒤에도 오늘 제대로 일했는지를 설명할 수 있어야 한다.

먼저 로봇을 인간 수준으로 신뢰할 수 있게 만들고, 그다음 인간을 넘어서는 최적화를 묻는다.