Abstract

생성 모델이 아니라, 정책 클래스의 문제

이 강연에서 diffusion과 flow의 핵심 가치는 복잡한 행동을 그럴듯하게 생성하는 능력보다 더 구조적이다. 이들은 서로 다른 여러 정답을 평균으로 뭉개지 않고 보존하고, 긴 action chunk에 시간적 일관성을 부여하며, 강화학습 정책이 오프라인 데이터의 지지집합 가까이에 머물도록 돕는다. 그 결과 모방학습, VLA, offline-to-online RL, 실세계 로봇 후학습이 같은 표현력의 문제로 연결된다.

Diffusion 정책은 행동을 더 화려하게 만드는 기술이 아니라, 유효한 행동의 공간을 보존하면서 그 안에서 개선할 수 있게 만드는 좌표계다.

Executive summary

핵심 발견

01

다봉형 행동을 평균내지 않는다

서로 다른 유효 경로를 하나의 Gaussian 평균으로 합쳐 위험한 중간 행동을 만드는 문제를 피한다.

02

Action chunk가 시간 구조를 담는다

여러 step을 예측하고 일부를 실제 실행함으로써 긴 동작의 일관성과 안정성을 정책 표현에 넣는다.

03

VLM에 ‘운동피질’을 붙인다

언어·시각 표현은 거대한 백본이 담당하고, diffusion·flow 모듈은 고차원 연속 제어를 전담한다.

04

Offline-to-online 전환을 완화한다

표현력 있는 정책 제약과 noise steering이 데이터 밖 행동으로의 급격한 이동을 억제한다.

05

학습 경로 분리가 필요하다

Diffusion gradient가 VLM 표현을 훼손할 수 있어 stop-gradient와 보조 행동 손실이 사용된다.

06

최종 지표는 운영 처리량이다

실제 배치에서는 성공률뿐 아니라 복구, 연속 운용 시간, 시간당 완료 작업 수가 중요하다.

로봇 후학습의 수렴하는 파이프라인
Stage 01 대규모 VLM·로봇 데이터 사전학습
Stage 02 Diffusion action chunk 모방학습
Stage 03 지지집합을 보존하는 RL
Stage 04 현장 online 개선과 재통합
01 · Policy expressiveness

평균 행동은 때로 충돌이다

연속 제어의 오래된 기본값은 상태에서 평균과 공분산을 출력하는 Gaussian 정책이었다. 계산하기 쉽고 강화학습 알고리즘에 넣기 편하지만, 실제 행동 데이터가 가진 여러 개의 정답을 표현하기에는 지나치게 단순하다.

관측에서 50 step 길이의 행동 시퀀스를 출력하는 정책 구조
00:02:30π0의 출력은 단일 제어값이 아니라 약 1초에 해당하는 50 step 관절 목표 시퀀스다.

나무를 왼쪽이나 오른쪽으로 피하는 두 경로가 모두 데이터에 있다고 하자. 단일 Gaussian은 두 모드 사이의 평균, 곧 나무를 향하는 경로에 높은 확률을 줄 수 있다. 통계적으로 매끄러운 평균이 제어에서는 실제로 존재하지 않는 위험한 행동이 되는 셈이다.

장애물 양옆의 유효 경로와 중앙의 위험한 평균 경로를 보여주는 드론 예시
00:04:20다봉형 데이터의 모드 평균은 유효한 두 경로가 아니라 장애물과 충돌하는 세 번째 경로를 만든다.
“정책 제약이 실패한 것이 아니라, 제약을 지키면서 모든 모드를 표현할 정책 클래스가 부족했다.” 강연의 offline RL 논지를 재구성한 요약

궤적 전체에서 조건부 action chunk로

초기 Diffuser는 시간축과 자유도축을 가진 궤적 행렬 전체에 unconditional diffusion을 적용했다. 첫 상태는 inpainting으로 고정하고, 보상과 제약은 guidance로 주입했다. 이후 Diffusion Policy는 관측에 조건화된 행동 시퀀스만 생성하는 더 직접적인 구조로 정리했다.

궤적 전체를 2차원 행렬로 생성하는 Diffuser 구조
00:07:30Diffuser: 상태·행동 궤적 전체를 생성하고 시작 상태와 제약을 사후 주입한다.
관측에 조건화된 행동 시퀀스를 생성하는 Diffusion Policy 구조
00:08:45Diffusion Policy: 관측과 denoising 상태를 받아 조건부 action chunk를 생성한다.
관측 인코더와 DiT 행동 생성기를 결합한 현대 로봇 정책 구조
00:10:05현대 구현은 DiT 계열 블록이 관측 표현을 attention으로 참조하는 형태를 공유한다.

여기서 action chunk는 계산 편의를 위한 출력 묶음이 아니다. 발표의 π0 예시는 50 step을 예측하고 그중 25 step을 open loop로 실행한 뒤 다시 계획한다. 첫 step만 실행하면 성능 이득이 사라진다는 관찰은, 여러 step의 결합 분포 자체가 모방학습의 중요한 표현 단위임을 시사한다.

정책 클래스 장점 주요 한계 로봇 제어에서의 의미
단일 Gaussian 단순하고 학습·샘플링이 빠름 다봉형 행동을 평균내거나 한 모드만 선택 위험한 중간 행동과 데이터 손실 가능
Mixture 여러 모드를 명시적으로 표현 모드 수와 고차원 상관구조 설계가 어려움 제한된 복잡도의 행동에는 실용적
Autoregressive 복잡한 조건부 분포 표현 순차 생성 비용과 오차 전파 토큰화 방식에 따라 연속 제어 해상도 제약
Diffusion / Flow 고차원·다봉형 action chunk를 유연하게 표현 학습과 반복 추론 비용이 큼 모드 보존, 정책 제약, latent steering에 적합
02 · Foundation models

VLM에 신경 운동피질을 붙이다

로봇 파운데이션 모델의 기본 레시피는 웹 규모의 이미지·언어 사전학습, 여러 과제와 여러 로봇의 데이터, 그리고 연속 제어 fine-tuning의 결합이다. 중요한 질문은 범용 모델이 각 현장에 맞춘 전문 모델보다 실제로 더 잘할 수 있는가였다.

웹 이미지 언어 사전학습과 다과제 로봇 데이터를 결합하는 파운데이션 모델 구조
00:12:25웹 규모의 표현과 로봇 행동 데이터를 결합해 과제 간 전이를 얻는 기본 레시피.
63%RT-2-X generalist

RT-X는 34개 연구실과 22종 로봇의 데이터를 모았고, 7개 연구실 평가에서 specialist 평균 41%보다 높은 63%를 기록했다. 서로 다른 과제의 이질적 지표를 평균한 수치라는 한계는 있지만, 통합 학습이 각 현장에서도 강한 전이를 만들 수 있다는 초기 증거였다.

Specialist 41퍼센트와 RT-2-X generalist 63퍼센트를 비교한 발표 슬라이드
00:14:35통합 모델의 방향성은 강하지만, 단일한 공통 benchmark 결과로 해석해서는 안 된다.

1세대의 토큰에서 2세대의 연속 행동으로

RT-2 계열의 1세대 VLA는 로봇 명령을 질문으로, 행동 숫자열을 답으로 바꿔 다음 토큰 예측에 넣었다. ASCII 숫자열 같은 거친 표현으로도 일반화는 개선됐지만, 고차원·고주파 연속 제어에는 한계가 뚜렷했다.

행동을 텍스트 숫자 토큰으로 출력하는 1세대 VLA
00:17:151세대 VLA는 행동을 언어 모델의 답변처럼 토큰화했다.
토큰 정책과 diffusion flow 행동 모듈을 비교한 2세대 VLA 구조
00:18:202세대 VLA는 고차원 action chunk를 담당하는 별도 ‘neural motor cortex’를 둔다.

π0의 mixture-of-transformers 또는 별도 diffusion head는 VLM 표현을 참조하면서 양팔, 베이스, 손목 등 많은 자유도의 행동을 함께 생성한다. 덕분에 세탁물을 꺼내 이동하고 옷을 접는 긴 과제나, 작은 실수 뒤 다시 안정화하는 행동이 가능해졌다.

π0 로봇이 세탁물을 이동하고 옷을 접는 긴 작업 시연
00:19:25π0 flow-matching VLA가 베이스와 양팔을 end-to-end로 제어하는 장시간 작업.
복합 지시를 수행하고 오류에서 회복하는 π0.7 시연
00:20:35π0.7은 행동 속도와 의도적 실수까지 포함한 복합 지시를 따르고 오류에서 회복한다.

Knowledge insulation: 손실 경로를 분리한다

표현력이 공짜로 주어지는 것은 아니다. 발표에 따르면 순수 end-to-end diffusion은 discrete action 학습보다 5~10배 느렸고, action expert의 고분산 gradient가 VLM 백본의 언어 추종 능력을 훼손하는 현상도 나타났다.

Action expert와 VLM 사이의 stop-gradient 및 discrete action loss를 보여주는 knowledge insulation 슬라이드
00:24:25Diffusion gradient는 차단하고 discretized action loss로 백본을 계속 적응시킨다.
구조적 해석

Knowledge insulation은 백본을 완전히 동결하는 방법이 아니다. 어떤 손실이 어느 표현을 바꿀 수 있는지 분리한다. 쉬운 과제에서는 빠른 discrete 학습의 이점을, 어려운 과제에서는 diffusion 정책의 최종 성능을 가져가며 end-to-end diffusion 대비 약 5배의 학습 속도 향상이 보고됐다.

03 · Offline-to-online RL

좋은 사전학습이 전환 직후 무너지는 이유

실제 로봇을 처음부터 무작위로 움직이며 학습시키는 것은 비싸고 위험하다. 현실적인 경로는 기존 로그에서 최대한 좋은 정책을 만든 다음, 현장 상호작용으로 조금씩 개선하는 것이다. 문제는 두 단계 사이의 분포 이동이다.

Online RL과 offline RL의 데이터 흐름 비교
00:28:10성공 조건은 효과적인 offline pre-training과 성능을 잃지 않는 online fine-tuning이다.
여러 오프라인 궤적에서 좋은 행동을 선택하는 offline RL 직관
00:29:00Offline RL은 평균 모방이 아니라 데이터 안의 좋은 부분을 상황별로 추출하는 일이다.

Q 함수는 자신의 약점을 공격하는 정책을 만든다

Q(s, a) ≈ r(s, a) + γ maxₐ′ Q(s′, a′)
π(s) = arg maxₐ Q(s, a)

Q 함수는 특정 상태에서 행동한 뒤 얻을 누적 보상을 평가한다. 그러나 오프라인 데이터 밖의 행동에서는 추정 오차가 커진다. 정책은 바로 그 Q를 최대화하기 때문에 Q가 우연히 과대평가한 out-of-distribution 행동을 적극적으로 찾는다. 학습된 가치함수를 겨냥한 adversarial example이 정책 자체에서 만들어지는 셈이다.

Q 함수와 Bellman 최적성 방정식을 설명하는 슬라이드
00:30:30Bellman 최적성만으로는 데이터 정책과 새 정책 사이의 분포 차이가 해결되지 않는다.
Q 함수가 과대평가한 데이터 밖 행동을 정책이 선택하는 문제
00:32:30정책은 추정 오차가 큰 영역에서 Q의 약점을 찾아내고 확대한다.

Pessimism 계열 offline RL은 미지 행동의 가치를 낮춰 이 문제를 막는다. 하지만 online 단계가 시작되면 처음 방문한 영역은 오프라인 학습에서 의도적으로 저평가된 곳이다. 새 경험과 기존 가치 추정 사이의 차이가 큰 gradient를 만들고 정책 성능을 급격히 흔든다.

Offline phase 종료 후 online phase 초기에 보상이 급락하는 학습 곡선
00:35:30사전학습 정책의 보상이 online 전환 직후 무너졌다가 천천히 회복하는 전형적 패턴.

강력하지만 씁쓸한 기준선

RLPD는 정교한 offline pre-training 없이 online RL을 바로 시작하되 매 batch의 절반을 offline 데이터로 채운다. 오랫동안 복잡한 offline-to-online 방법보다 강했다는 사실은 역설적이다. 사전학습의 이점을 포기하더라도 전환 붕괴를 피하는 편이 나았다는 뜻이기 때문이다.

Offline 데이터를 절반씩 섞어 online RL을 수행하는 RLPD 기준선
00:36:35RLPD는 사전학습을 충분히 활용하지 않지만 전환 충격을 피하는 강한 기준선이었다.

표현력 있는 정책 제약의 귀환

새 정책을 데이터 정책 가까이에 두는 제약은 자연스러운 해결책처럼 보인다. 과거에는 단순 Gaussian이 데이터의 여러 모드를 동시에 표현할 수 없어 평균화하거나 일부 모드를 버려야 했다. Diffusion은 데이터의 복잡한 지지집합을 유지한 상태에서 가치가 높은 영역으로 이동할 여지를 준다.

단순 Gaussian 정책 제약과 표현력 있는 diffusion 정책 제약의 차이
00:38:45핵심 병목은 제약 자체가 아니라 제약을 만족시킬 정책 클래스의 표현력이었다.
04 · Steering and guidance

행동이 아니라 noise를 제어한다

Diffusion steering은 강화학습 문제를 다른 좌표계로 옮긴다. 모방학습으로 얻은 생성 사상은 고정하고, RL actor는 어떤 noise를 입력할지 학습한다. 정상적인 noise가 데이터 분포 안의 합리적 행동으로 변환되도록 사전학습돼 있으므로 행동 공간에서 직접 탐색하는 것보다 분포 이동을 통제하기 쉽다.

고정된 생성 정책: a = fθ(s, w),   w ∼ N(0, I)
RL actor의 역할: 상태 s에서 가치가 높은 noise w를 선택
상태에서 noise를 선택하고 고정된 diffusion policy가 행동으로 변환하는 diffusion steering 구조
00:41:40표준 Soft Actor-Critic을 행동이 아닌 noise 공간에서 수행한다.

발표에서는 실제 로봇이 약 50 trial에 과제를 익혔고, 장기 퍼즐과 미로 offline benchmark에서도 경쟁력 있는 결과를 보였다고 설명한다. 이 접근은 offline과 online에 서로 다른 알고리즘을 붙이기보다 동일한 RL 메커니즘을 사용하면서 생성 모델이 행동의 유효 범위를 관리하게 한다.

좋은 데이터 정책과 전체 데이터 정책을 guidance로 결합하는 CFGRL 슬라이드
00:42:20Guidance는 생성 품질 조정뿐 아니라 가치가 높은 행동을 추출하는 정책 개선 연산자로 볼 수 있다.
Test-time compute

여러 행동을 샘플링한 뒤 Q 값이 가장 높은 행동을 실행하는 best-of-N도 steering이나 guidance와 결합할 수 있다. 발표자는 이를 언어 모델의 reasoning과 동일시하기보다, 추론 시 더 많은 계산으로 더 나은 후보를 선택하는 test-time compute의 유사물로 설명한다.

05 · VLA + RL deployment

연구실 밖에서 측정해야 할 것

최종 목표는 VLA와 RL을 하나의 현장 시스템으로 결합하는 것이다. π*0.6은 VLA에 가치함수를 연결하고 행동의 value를 prompt 조건으로 사용한다. 추론 시 높은 value를 조건으로 더 좋은 행동을 생성하며, online 경험으로 계속 개선한다.

여러 실제 로봇 과제에서 VLA와 강화학습을 결합하는 π*0.6 프로그램
00:43:15가치 조건부 행동 생성과 online 경험 개선을 한 시스템 안에 결합한다.
사무실 커피 제조와 초콜릿 공장 상자 조립을 수행하는 로봇
00:43:45커피 로봇은 13시간 운용됐고, 초콜릿 공장에서는 상자 조립과 스티커 부착을 수행했다.
Offline 정책과 online RL 이후의 시간당 성공 작업 수 비교
00:44:30Online RL은 여러 과제에서 시간당 성공 작업 수, 즉 운영 throughput을 높였다.
여러 과제별 specialist 정책을 하나의 generalist 정책으로 통합하는 시연
00:45:00과제별 RL 데이터와 advantage conditioning으로 여러 specialist를 다시 하나의 generalist로 통합한다.

이 결과에서 중요한 지표는 일회성 성공률만이 아니다. 실패 뒤 작업 상태를 복구하는가, 사람이 개입하지 않고 얼마나 오래 운용되는가, 시간당 몇 개의 작업을 완료하는가가 실제 배치의 성패를 결정한다.

  • 복구 능력: 작은 실수나 교란 뒤 정상 작업 흐름으로 돌아오는가.
  • 연속 운용: 성공률이 아니라 개입 없이 유지되는 시간을 측정하는가.
  • 처리량: 시간당 성공 작업 수가 실제 생산 가치로 이어지는가.
  • 전환 안정성: Online 학습 초기에도 기존 성능과 안전을 유지하는가.
  • 재통합: 개별 현장의 RL 경험을 범용 정책에 다시 흡수할 수 있는가.
06 · Implications

무엇이 달라지는가

1. Diffusion의 가치를 표현력으로 재정의한다

이 기술의 의미를 이미지 생성의 유행이 로봇으로 확장된 사례로만 보면 중요한 연결을 놓친다. 같은 표현력이 모방학습의 모드 보존, VLA의 민첩한 action chunk, offline RL의 정책 제약을 동시에 가능하게 한다.

2. 생성 사상은 보존하고 방향만 조절한다

Diffusion 모델 전체를 RL로 크게 바꾸는 대신 latent 또는 noise 선택, guidance, value conditioning으로 방향을 조절하면 사전학습된 행동 지지집합을 더 잘 보존할 수 있다. 데이터 효율성과 안정성을 함께 노리는 설계 원칙이다.

3. 로봇 후학습은 선형 파이프라인이 된다

실용적인 구조는 대규모 imitation/VLA pre-training → 지지집합을 보존하는 RL → 현장 online 개선 → 범용 모델로 재통합으로 정리된다. 초기 정책을 버리고 새로 배우는 방식보다 장비와 데이터의 기존 투자를 유지한다.

4. 비교 실험의 기준도 바뀌어야 한다

Gaussian, mixture, autoregressive, diffusion과 flow 정책을 비교할 때는 backbone과 action chunk 길이를 통제해야 한다. 성공률뿐 아니라 모드 보존, offline-to-online 안정성, 추론 지연, 학습 FLOP와 운영 처리량을 함께 측정해야 표현력의 실제 비용과 이익을 판단할 수 있다.

07 · Limits and open questions

아직 설명되지 않은 것들

01

강연은 여러 경험적 사례를 연결하지만 diffusion이 일관되게 유리한 이유에 대한 통일 이론을 제시하지 않는다.

02

RT-X의 41% 대 63%는 연구실마다 다른 과제와 metric을 평균한 값이다. 엄밀한 단일 benchmark 비교가 아니다.

03

Action chunk와 diffusion도 장기 error accumulation을 제거하지 않는다. 제어 분야의 예상보다 덜 심각했을 뿐이다.

04

Diffusion steering은 기본적으로 imitation policy가 학습한 행동 지지집합에 묶인다. 안전한 범위 밖 탐색은 열린 문제다.

05

Knowledge insulation은 실용적이지만 목적함수의 높은 분산과 공동학습 문제를 근본적으로 해결하는 우아한 해법은 아니다.

06

실배치 사례에는 안전 제약, 리셋 비용, 보상 설계와 장기 유지보수에 관한 정량 정보가 충분하지 않다.

연구 관점의 핵심 질문

Diffusion 정책의 이점은 생성 품질보다 데이터 지지집합을 보존하는 제어 가능한 좌표계를 제공한다는 데 있을 수 있다. 동일한 action chunk 길이와 backbone 아래 Gaussian, mixture, autoregressive, diffusion/flow 정책을 놓고 모드 보존, 전환 안정성, 학습 FLOP를 함께 측정할 필요가 있다.

Source notes

출처와 해석 범위

발표자
Sergey Levine, UC Berkeley
강연
Diffusion in RL and robotics: how expressive policies changed how we use continuous actions
채널
Simons Institute for the Theory of Computing
행사
Diffusion Generative Modeling: Progress and Next Steps
게시일
재생 시간
48분 25초
원문
YouTube 강연 페이지
요약 근거
영어 수동 자막과 영상 슬라이드

본 문서는 강연 내용을 주제별로 재배열한 해설형 연구 노트다. 수치와 시스템 설명은 발표자가 제시한 슬라이드와 자막에 근거하며, 논문별 세부 실험 조건을 독립적으로 재검증한 체계적 문헌 리뷰는 아니다. 이미지의 timecode는 해당 논점이 등장하는 영상 위치를 뜻한다.

주요 주장 영상 근거 해석 시 주의점
Action chunk는 여러 step을 실제 실행할 때 효과가 있다. 00:10:05 Chunk 길이와 재계획 간격은 시스템별로 달라질 수 있다.
RT-2-X generalist 63%, specialist 평균 41%. 00:14:35 이질적 과제와 metric을 평균한 비교다.
End-to-end diffusion 학습은 5~10배 느릴 수 있다. 00:24:25 모델·구현·과제 구성에 의존하는 경험적 결과다.
Knowledge insulation은 약 5배 학습 속도 향상을 보였다. 00:24:25 속도와 최종 성능의 비교 조건을 함께 확인해야 한다.
Diffusion steering으로 실제 로봇이 약 50 trial에 학습했다. 00:41:40 안전 제약과 리셋 비용의 상세 수치는 강연에서 제한적이다.
커피 로봇이 사무실에서 13시간 운용됐다. 00:43:45 장기 신뢰성 전체를 대표하는 통계는 아니다.