Research Note · Reinforcement Learning

강화학습 기초
로봇 VLA 논문·발표 읽기용

Chelsea Finn과 Sergey Levine의 로봇 VLA 발표에서 전제하는 강화학습의 기초 용어와 이론을 처음부터 연결해 읽는 문서.

research-note 2026-08-08 강화학습 AI 로봇 기초이론
PART 00

강화학습이란 무엇인가 — 지도학습과의 두 가지 차이

지도학습 (supervised learning)

우리가 이미 아는 것. (입력, 정답) 쌍이 주어진다.

사진 → "고양이"
사진 → "개"

모델은 입력을 보고 정답을 맞히도록 학습한다. 정답이 무엇인지 누군가 알려준다.

로봇에 적용하면 이것이 모방학습(imitation learning) 또는 행동 복제(behavior cloning, BC)다.

(카메라 화면, "커피 만들어") → 사람이 그 순간 취한 행동

강화학습 (reinforcement learning, RL)

두 가지가 다르다. 이 둘이 RL의 모든 어려움의 원천이다.

차이 ①: 정답이 없고 점수만 있다

“이 상황에서 무엇이 정답인가”를 아무도 모른다. 대신 행동을 하고 나면 점수(보상)가 온다.

지도학습:  이 상황에서는 왼쪽으로 3cm 움직이는 게 정답이야
강화학습:  (움직여봐) … 음, 7점.
           (다르게 움직여봐) … 이번엔 2점.

정답을 배우는 게 아니라, 점수를 높이는 방법을 스스로 찾아야 한다.

차이 ②: 내 행동이 다음에 볼 데이터를 바꾼다

지도학습에서 데이터셋은 고정이다. 내가 무엇을 예측하든 다음 사진은 그대로 온다.

RL에서는 내가 지금 한 행동이 다음 상황을 결정한다. 커피잔을 쏟으면, 그 다음부터 보는 화면은 “쏟은 상태”다. 데이터 분포가 내 정책에 의존한다.

두 발표의 출발점

Levine 발표 장면 4의 핵심 주장이 정확히 이 대비다.

담당결과
지도학습 (pre-training)지식, 일반화, 언어 이해많은 것을 “그럭저럭”
강화학습 (post-training)특정 과제의 숙달, 속도그 과제를 “완벽하고 빠르게”

대체재가 아니라 상보재다. 지도학습만으로는 40%에서 멈추고(Finn 발표), RL만으로는 일반화가 없다(Levine 발표 장면 8의 스페셜리스트 한계).

↑ 맨 위로
PART 01

기본 어휘 — MDP

RL의 문제 설정을 MDP(Markov Decision Process, 마르코프 결정 과정)라 부른다. 다섯 개의 부품이 있다.

상태 s (state) / 관측 o (observation)

지금 세계가 어떤 상태인지. 로봇에서는 보통:

  • 관측 o: 카메라 이미지, 관절 각도(고유수용성 상태, proprioception)
  • 상태 s: 세계의 진짜 완전한 상태

카메라로는 세계를 다 볼 수 없으므로(가림, 시야 밖) 로봇 문제는 엄밀히는 POMDP(부분 관측 MDP)다. 논문들이 s와 o를 섞어 쓰는 이유이고, Finn 발표에서 가치함수 입력을 o로 쓴 이유이기도 하다.

실용적으로는 s ≈ o로 읽어도 대부분 문제없다.

행동 a (action)

로봇이 하는 것. 보통 연속값 벡터다.

a = [관절1 각도 변화, 관절2 각도 변화, …, 그리퍼 열림/닫힘]

예: 7자유도 팔 + 그리퍼 → a ∈ ℝ8

보상 r (reward)

행동 후 받는 점수. 두 종류가 있고 이 구분이 매우 중요하다.

종류뜻예
희소 보상 (sparse)성공하면 1, 아니면 0“에스프레소가 완성됐나?”
밀집 보상 (dense)매 스텝 세밀한 점수“포터필터와 그룹헤드의 거리에 반비례”

두 발표 모두 희소 보상을 쓴다. 이유는 밀집 보상을 손으로 설계하는 비용이 크고, 잘못 설계하면 로봇이 보상만 챙기고 과제는 안 하는 보상 해킹(reward hacking)이 생기기 때문이다.

  • Levine 장면 6 (RLPD): “이진 이미지 분류기가 주는 희소 보상”
  • Finn 00:25:00 (EXPO-FT): “규칙 기반 분류기의 sparse binary 신호”

정책 π (policy)

상태를 받아 행동을 내놓는 것. RL이 학습하려는 대상이 바로 이것이다.

π(a | s)

이 표기는 “s가 주어졌을 때 a의 확률분포”라는 뜻이다. 하나의 행동을 딱 내놓는 게 아니라 확률적이다.

종류표기뜻
결정론적a = μ(s)같은 상태 → 항상 같은 행동
확률적a ∼ π(a|s)같은 상태 → 뽑을 때마다 다른 행동

확률적이어야 하는 이유는 탐색(exploration). 항상 같은 행동만 하면 더 나은 방법을 발견할 수 없다.

VLA는 π(a | o, 언어 프롬프트)다. 언어가 조건에 추가된 정책일 뿐이다.

에피소드와 궤적

  • 에피소드 (episode): 시작부터 끝(성공/실패/시간초과)까지 한 번의 시도
  • 궤적 (trajectory) τ: 그 에피소드에서 일어난 일의 기록
τ = (s₀, a₀, r₀, s₁, a₁, r₁, …, sT)
  • 전이 (transition): 한 스텝 분량 (s, a, r, s′). 리플레이 버퍼에 저장되는 단위.
  • 롤아웃 (rollout): 정책을 실제로 돌려서 궤적을 만드는 행위

할인율 γ (gamma, discount factor)

0 < γ ≤ 1 사이의 수. 보통 0.99. “미래의 보상은 현재의 보상보다 조금 덜 소중하다”는 뜻이다.

리턴 Gt = rt + γrt+1 + γ²rt+2 + γ³rt+3 + ···

이 리턴(return)이 RL이 최대화하려는 대상이다. “지금부터 끝까지 받을 보상의 할인 합”.

γ가 필요한 이유 세 가지:

  1. 수학적 안정성 — 무한히 계속되는 과제에서 합이 발산하지 않게
  2. 불확실성 반영 — 먼 미래는 예측이 불확실하므로 덜 신뢰
  3. 빠른 완수 유도 — 같은 보상이면 빨리 받는 게 유리 → 자연히 속도 최적화

마르코프 성질 (Markov property)

P(st+1 | st, at) = P(st+1 | s₀, a₀, …, st, at)

말로 하면: “다음에 무슨 일이 일어날지는 지금 상태만 알면 충분하다. 과거 이력은 필요 없다.”

마르코프 정책이란 지금 관측만 보고 행동을 정하는 정책이다. 같은 화면이면 항상 같은 행동 분포.

↑ 맨 위로
PART 02

가치 — V, Q, A 세 글자

RL 논문에서 가장 많이 나오는 세 기호. 전부 “얼마나 좋은가”를 재는 것이고, 무엇에 대해 재는지만 다르다.

V(s) — 상태 가치 함수

V(s) = 𝔼[Gt | st = s]

“이 상태에 있으면, 앞으로 총 얼마나 좋을까(리턴의 기대값)”

  • 포터필터가 잘 물린 상태 → V 높음
  • 커피를 쏟은 상태 → V 낮음

𝔼(기대값)가 붙은 게 중요하다. 평균이다. 한 번의 결과가 아니라 “이런 상태에서 보통 어떻게 되는가”.

Q(s,a) — 행동 가치 함수

Q(s,a) = 𝔼[Gt | st = s, at = a]

“이 상태에서 이 행동을 하면, 앞으로 총 얼마나 좋을까”

V와의 차이는 행동을 지정했다는 것. 그래서 Q가 있으면 행동을 고를 수 있다.

a* = arg maxa Q(s,a)

이것이 EXPO의 argmax Q가 하는 일이다.

V(s) = 𝔼a∼π[Q(s,a)]

즉 V는 Q를 정책에 대해 평균 낸 것. “이 상태의 가치 = 이 상태에서 내가 할 행동들의 평균 가치”.

A(s,a) — 어드밴티지

A(s,a) = Q(s,a) − V(s)

“이 행동이 평균보다 얼마나 나은가”

A의 성질:

  • A > 0: 평균보다 좋은 행동 → 확률을 올려야 함
  • A < 0: 평균보다 나쁜 행동 → 확률을 내려야 함
  • 𝔼a∼π[A(s,a)] = 0 — 정의상 평균은 0

기술적으로 baseline을 빼면 분산이 줄어 학습이 안정된다. 이것이 policy gradient에서 A를 쓰는 이유(PART 8).

두 발표의 advantage 정의 읽기

Levine 장면 19 / π*0.6 (RECAP):

A(o,a) = rt:N + V(ot+N) − V(ot)
  • rt:N: t부터 N스텝 동안 받은 보상
  • V(ot+N): N스텝 후 상태의 가치
  • V(ot): 지금 상태의 가치

앞의 두 항 rt:N + V(ot+N)이 “N스텝 실제로 가본 뒤 추정한 Q”다. 거기서 V(ot)를 빼면 정확히 A = Q − V 형태. 이것을 N-step advantage라 부른다.

Finn 00:10:50: “advantage는 행동 전후 가치의 차이로 계산한다.” 같은 것을 말로 표현한 것이다. 희소 보상이라 중간 r이 0이므로 A ≈ V(이후) − V(이전)로 단순화된다.

↑ 맨 위로
PART 03

가치를 어떻게 배우나 — 몬테카를로 vs TD

V나 Q를 어떻게 학습할까. 두 가지 근본적으로 다른 방법이 있고, 두 발표가 서로 다른 쪽을 골랐다.

방법 1: 몬테카를로 — “끝까지 가보고 실제 결과로 배운다”

에피소드를 끝까지 돌린 뒤, 각 시점의 실제 리턴을 계산해서 그걸 정답으로 회귀한다.

에피소드:  s0 → s1 → s2 → ... → s40 (성공!)

라벨 만들기:
  s0 의 정답 = 40 (남은 스텝)
  s1 의 정답 = 39
  ...
  s39 의 정답 = 1

학습: V(s) 가 이 숫자를 맞히도록 회귀 (MSE 손실)

이것이 그냥 지도학습이다. 입력은 이미지, 정답은 숫자. 특별한 RL 기법이 하나도 없다.

장점단점
편향 없음 — 실제 결과가 정답분산 큼 — 한 에피소드의 운에 좌우
극도로 안정적에피소드가 끝나야 학습 가능
지도학습이라 대형 모델로 확장 쉬움데이터 효율이 낮음

방법 2: TD 학습 — “다음 상태의 추정치를 빌려 쓴다”

끝까지 갈 필요 없이, 한 스텝만 가보고 나머지는 자기 자신의 예측으로 때운다.

V(s) ← r + γV(s′)

말로 하면: “이 상태의 가치 = 지금 받은 보상 + 다음 상태의 가치(내 예측)”. 이것을 벨만 방정식(Bellman equation)이라 하고, 이 갱신을 벨만 백업(Bellman backup)이라 한다.

Q 버전(Q-learning):

Q(s,a) ← r + γ maxa′ Q(s′,a′)

TD 오차: δ = r + γV(s′) − V(s) — 예측과 실제의 차이. 이 값이 곧 advantage의 1-스텝 추정이기도 하다.

장점단점
데이터 효율 높음편향 있음 — 내 예측을 정답으로 씀
에피소드 안 끝나도 온라인 학습불안정 — 오류가 자기 강화됨
off-policy 학습 가능하이퍼파라미터에 민감

부트스트랩 — TD의 축복이자 저주

TD가 “자기 예측을 정답으로 쓰는 것”을 부트스트랩이라 한다. 이게 데이터 효율의 원천이자 모든 불안정성의 원천이다.

critic이 본 적 없는 행동 a* 의 Q값을 과대평가
  → actor가 "a* 가 최고네" 하고 그쪽으로 이동
  → 과대평가된 값이 벨만 백업으로 이전 상태에 전파
  → 전체 Q함수가 부풀어 오름 → 발산

자기 강화 루프다. 이것이 offline RL의 핵심 난점이고, RLPD가 LayerNorm과 critic 앙상블로 막으려 한 것이다.

중간 지점: N-step과 GAE

MC(끝까지)와 TD(1스텝)는 스펙트럼의 양 끝이다. 중간을 쓸 수 있다.

rt  …  rt + γrt+1 + ··· + γN−1rt+N−1 + γNV(st+N)  …  Σtγtrt

N이 클수록 편향↓ 분산↑. π*0.6의 A(o,a) = rt:N + V(ot+N) − V(ot)가 바로 N-step이다.

GAE (Generalized Advantage Estimation)는 여러 N의 결과를 λ로 지수 가중 평균하는 기법. PPO와 거의 항상 함께 쓰인다.

두 발표의 선택 비교

가치 학습법왜
π*0.6 (Finn 1부)MC 회귀대형 VLM에 얹어야 함 → 안정성 최우선
EXPO (Finn 2부)TD / Q-learningoff-policy 온라인 개선이 목적 → 데이터 효율 필요
RLPD (Levine)TD / SAC실세계 1~2시간 학습 → 데이터 효율이 생명

같은 워크샵의 두 발표가 정반대를 골랐고, 둘 다 자기 목적에 맞다. 이 표가 두 영상을 관통하는 축이다.

↑ 맨 위로
PART 04

경사하강 — “학습”이 실제로 무엇인가

RL 특유의 개념은 아니지만, EXPO의 “Q함수 뒤처짐”을 이해하려면 필요하다.

기본

신경망은 수백만~수십억 개의 파라미터 θ(가중치)를 가진 함수다. 학습이란 이 숫자들을 조금씩 바꿔 손실을 줄이는 것.

θ ← θ − α∇θL(θ)
  • L(θ): 손실함수 — 지금 얼마나 틀렸는지
  • ∇θL: 기울기 — 각 파라미터를 어느 방향으로 바꾸면 손실이 커지는지
  • α: 학습률 — 한 번에 얼마나 움직일지. 보통 10−4 정도
  • 마이너스 부호: 손실이 줄어드는 쪽으로 가려고

핵심: 경사하강은 느리다

한 번의 갱신으로 정답에 도달하지 않는다. 조금씩 수천~수만 번 반복해야 수렴한다.

관련 용어

  • 역전파: 기울기를 출력에서 입력 방향으로 연쇄법칙으로 계산하는 알고리즘
  • 배치: 한 번의 갱신에 쓰는 데이터 묶음. 보통 256개
  • 에폭: 데이터셋 전체를 한 바퀴
  • UTD 비율: 환경 스텝 1회당 경사하강 몇 번? 보통 SAC는 1, RLPD는 20. 실세계에서 비싼 건 로봇 시간이고 GPU는 싸므로 같은 경험을 20배 짜낸다.
  • 긴 체인을 통한 역전파의 문제: 디퓨전 정책은 denoising을 수십~수백 번 반복한다. 전체를 통과해 기울기를 보내면 기울기가 소실·폭발한다. Finn 00:19:50의 “긴 denoising 체인 탓에 불안정”이 이것.
↑ 맨 위로
PART 05

on-policy vs off-policy — 가장 중요한 구분

로봇 RL 논문을 읽을 때 가장 먼저 확인해야 할 축이다. 두 발표의 알고리즘 선택이 거의 전부 이 축으로 설명된다.

정의

학습에 쓰는 데이터가 “지금 학습 중인 정책”이 만든 것이어야 하는가?
on-policyoff-policy
데이터 출처반드시 현재 정책아무 정책이든 무관
정책 갱신 후 과거 데이터버려야 함 ❌계속 재사용 ✅
리플레이 버퍼못 씀 — 또는 아주 짧게필수 부품
사람 데모 활용어려움그냥 버퍼에 넣으면 됨
데이터 효율낮음높음
안정성상대적으로 안정부트스트랩 발산 위험
대표 알고리즘PPO, TRPO, A3C, REINFORCESAC, TD3, DDPG, Q-learning, RLPD

on-policy가 왜 데이터를 버려야 하는가

J(π) = 𝔼τ∼p(τ|π)[Σtγtrt]

“정책 π가 만드는 궤적 분포에 대한 기대값”이다. 즉 목적함수 자체가 현재 정책이 방문하는 상태 분포를 전제한다.

정책을 조금이라도 바꾸면 방문 분포도 바뀌므로, 옛 정책이 모은 데이터는 다른 분포에서 온 샘플이 되어 기대값 추정이 틀린다.

  • importance sampling으로 πnew(a|s) / πold(a|s)를 곱해 보정할 수 있다.
  • 하지만 두 정책이 조금만 멀어져도 이 비율이 폭발해 분산이 감당 불가가 된다.
  • 그래서 PPO는 비율을 강제로 clip해서 “너무 멀어지지 마”라고 제약한다.

off-policy는 왜 자유로운가

off-policy 알고리즘은 “Q(s,a)가 벨만 방정식을 만족하도록” 학습한다.

Q(s,a) = r + γ maxa′Q(s′,a′)

이 식에는 정책이 등장하지 않는다. 전이 (s,a,r,s′) 하나만 있으면 검사할 수 있다. 그 전이를 누가 만들었는지는 상관없다.

  • 옛 정책이 만든 것 ✅
  • 사람이 원격조작한 것 ✅
  • 완전히 엉망인 랜덤 행동 ✅

전부 유효한 학습 신호다.

로봇에서 off-policy가 사실상 필수인 이유

데이터on-policy에서off-policy에서
사람 데모못 씀버퍼에 넣으면 끝
사람 개입/교정못 씀버퍼에 넣으면 끝
과거 이터레이션 롤아웃버려야 함계속 재사용
  • Levine 장면 6: “off-policy라 리플레이 버퍼에 그냥 넣으면 되고, 탐색에 큰 도움”
  • Finn 00:25:00: 정책의 자율 예측과 사람이 덮어쓴 행동이 모두 리플레이 버퍼에 들어간다.

그래서 PPO가 왜 졌는가

Finn 00:16:40: “이 설정에서 AWR과 PPO는 SFT 대비 개선이 없었다.”

LLM (RLHF)로봇 (실세계)
샘플 1개 비용텍스트 생성 — 거의 공짜로봇 몇 초~몇 분 — 매우 비쌈
병렬화수천 개 동시로봇 대수만큼
on-policy 샘플 확보쉬움사실상 불가능
사람 데모 재활용 필요성낮음필수

PPO는 “샘플이 싸다”는 전제 위에 설계된 알고리즘이다. 그 전제가 무너지는 실세계 로봇에서는 구조적으로 불리하다. 알고리즘이 나쁜 게 아니라 문제 설정이 다르다.

offline RL — 제3의 범주

환경과 상호작용?데이터
on-policy함 — 현재 정책으로만매번 새로
off-policy (online)함버퍼 재사용 + 새 데이터
offline (batch RL)안 함고정된 데이터셋만

offline RL은 “주어진 데이터셋만으로 최선의 정책을 뽑아내는” 문제다. 새 데이터를 못 모으므로 분포 밖 행동(OOD)의 과대평가를 막는 게 전부다.

  • Levine 장면 20의 “OfflineRL Pretrain” 막대가 이것
  • π*0.6의 사전학습이 offline RL
  • π*0.6의 반복 루프는 엄밀히는 “반복적 offline RL”에 가깝다 — 롤아웃 뭉치를 모아 재라벨링하고 통째로 재학습하므로
↑ 맨 위로
PART 06

정책의 형태 — 가우시안 vs 디퓨전

π(a|s)를 신경망으로 어떻게 표현할까. 이 선택이 EXPO 전체의 이유다.

가우시안 정책

π(a | s) = 𝒩(μθ(s), σθ(s))
상태 s → [신경망] → μ = [0.3, -0.1, 0.5, ...]  (평균)
                    σ = [0.05, 0.05, 0.1, ...]   (표준편차)

행동 뽑기: a = μ + σ · ε,  ε ~ N(0, 1)

왜 RL 알고리즘들이 가우시안을 전제하는가:

  1. 확률 계산이 닫힌 형태로 가능 — log π(a|s)를 공식으로 바로 계산. policy gradient에 필수.
  2. 재파라미터화 트릭 — a = μ + σε로 쓰면 샘플링을 통과해 미분할 수 있다. SAC/TD3가 actor를 학습하는 방식.
  3. 엔트로피 계산 가능 — SAC의 엔트로피 항을 공식으로 구할 수 있다.

가우시안의 치명적 한계: 단봉(unimodal). “왼쪽으로 돌기”와 “오른쪽으로 돌기” 둘 다 정답인 상황에서 둘 중 하나를 고르거나 둘의 평균(직진, 오답)을 낸다. 이것이 mode averaging이다.

디퓨전 정책 / 플로우 매칭

노이즈에서 시작해 여러 번의 denoising 스텝을 거쳐 행동을 만든다.

a_K ~ N(0,1)  (순수 노이즈)
  → denoise → a_{K-1}
  → denoise → a_{K-2}
  → ...
  → denoise → a_0  (최종 행동)
장점단점
멀티모달 분포 표현 가능log π(a|s) 계산이 불가능/비쌈
복잡한 행동 분포를 정확히 모델링미분이 긴 체인을 통과 → 불안정
사람 데모의 다양성을 죽이지 않음샘플링에 forward pass 수십~수백 회

현대 VLA는 거의 다 디퓨전/플로우다. π₀, π₀.₅, π*0.6 모두. 표현력이 필요하니까.

그래서 디퓨전에 RL을 어떻게 걸까

기존 시도방법문제
① 가치를 직접 역전파denoising 체인 전체를 통과해 미분불안정
② 여러 액션 뽑아 argmax Q후보 n개 중 최선 선택정책 자체가 개선 안 됨
③ denoising을 가치로 유도매 스텝을 Q 기울기로 밀기정책 자체가 개선 안 됨

②③의 공통 문제: 정책이 학습되지 않으므로 base 정책이 애초에 못 만드는 행동은 n을 아무리 키워도 나오지 않는다.

EXPO의 해법 — 역할 분담

πbase: 디퓨전(표현력)  +  πedit: 가우시안(가치 최대화)
π_edit(ã | s, a) ← 상태 s와 base 액션 a를 받아 "수정된 액션" ã를 출력
  • π_base는 지도학습(imitation loss)만 받으므로 절대 무너지지 않는다.
  • π_edit는 가우시안이므로 SAC/TD3의 검증된 off-policy 목적함수를 그대로 쓸 수 있다.
  • argmax Q가 원본과 수정본을 함께 심사하므로 edit이 망가져도 base가 안전망이다.

표현력은 base가, 가치 최대화는 edit이. 이 분업이 성립하는 이유가 “가우시안은 RL하기 쉽고 디퓨전은 표현력이 좋다”는 대비다.

액션 청킹

π(at:t+H | ot)

한 스텝의 행동 하나 대신, 앞으로 H스텝 분량의 행동 묶음을 한 번에 출력한다.

  • 고주파 제어에서 매 스텝 추론하면 지연이 크고, 행동이 시간적으로 일관되지 않아 떨린다.
  • Levine 장면 14 어블레이션: “w/o Chunk → 개선 실패”
  • Finn 00:25:00: EXPO-FT = EXPO + action chunking + human-in-the-loop

행동 공간이 ℝ8에서 ℝ8×H로 커져 원래는 불리하지만, 실전에서는 압도적으로 이득이다. 로봇 RL의 필수 부품으로 자리잡았다.

↑ 맨 위로
PART 07

Actor-Critic 계열 — SAC와 TD3

off-policy RL의 표준 골격. Levine 발표의 RLPD가 이 계열이고, EXPO의 edit policy도 여기에 얹힌다.

기본 구조

부품역할비유
Actor π(a|s)상태를 보고 행동을 낸다실제로 손을 움직이는 선수
Critic Q(s,a)그 행동이 얼마나 좋을지 채점옆에서 채점하는 코치
1. Critic 학습: 벨만 백업으로 Q를 정확하게 만든다
   target = r + γ Q(s', π(s'))

2. Actor 학습: Q를 최대화하는 방향으로 정책을 민다
   maximize Q(s, π(s))

3. 반복

Critic 없이는 “이 행동이 좋았나”를 알 수 없고, Actor 없이는 연속 행동 공간에서 argmaxa Q를 계산할 수 없다. Actor가 그 argmax를 근사하는 신경망이다.

계보: DDPG → TD3 → SAC

DDPG

결정론적 actor + Q critic. 최초의 실용적 연속 행동 off-policy 알고리즘이지만 Q값 과대평가로 자주 발산한다.

TD3 — DDPG의 세 가지 수정

트릭내용목적
Twin criticCritic 2개 학습, 타깃에 min 사용과대평가 억제
Delayed policy updateCritic 2번당 Actor 1번 갱신Critic이 안정된 뒤 Actor가 움직이게
Target policy smoothing타깃 계산 시 행동에 노이즈 추가Q함수가 뾰족해지는 것 방지

min(Q1, Q2)는 한쪽이 과대평가해도 다른 쪽이 견제하게 한다. 낙관적 오차만 골라 억제하는 셈.

SAC — 현재 로봇 실세계 RL의 사실상 표준

TD3의 twin critic을 가져오고, 확률적 가우시안 actor와 엔트로피 최대화를 추가한다.

J(π) = 𝔼[Σt rt + αℋ(π(·|st))]

엔트로피 항의 의미: “보상도 높이고, 동시에 최대한 다양하게 행동해라.”

  • 정책이 너무 빨리 하나의 행동으로 굳는 것을 막는다 → 탐색 유지
  • 여러 좋은 해법이 있으면 다 유지한다 → 강건성
  • α(온도)로 강도 조절, 보통 자동 조정

이것을 maximum entropy RL이라 한다. Levine 그룹의 대표 기여이고, 로봇에서 SAC가 기본값이 된 이유다.

RLPD — SAC에 얹은 다섯 개의 설계 선택

재료내용
① Symmetric sampling배치 256개 중 항상 절반은 사람 데모에서. 데모가 희석되지 않게
② Critic에 LayerNormQ값이 무한히 커지는 것을 구조적으로 차단
③ Critic 앙상블 + 랜덤 min10개 학습, 타깃 계산 시 무작위 2개의 min (REDQ)
④ 높은 UTD (=20)로봇 스텝 1회당 경사하강 20회
⑤ SAC 엔트로피 유지탐색 유지

②③④는 세트다. UTD를 올리면 적은 데이터에 과적합하므로 ②③의 안정화가 반드시 필요하다.

↑ 맨 위로
PART 08

Policy Gradient 계열 — REINFORCE와 PPO

on-policy 쪽 계보. 두 발표에서 모두 “졌다”고 보고된 쪽이지만, 왜 졌는지 알려면 무엇인지 알아야 한다.

핵심 아이디어

∇θJ(θ) = 𝔼[∇θ log πθ(a|s) · A(s,a)]

“좋았던 행동(A>0)의 확률은 올리고, 나빴던 행동(A<0)의 확률은 내려라.”

“그리고 좋았던 정도(A의 크기)에 비례해서 세게 밀어라.”

  • ∇θ log πθ(a|s): “이 행동의 확률을 올리는 방향”
  • A(s,a): 그 방향으로 얼마나 밀지의 크기와 부호

A 대신 리턴 G를 쓰면, 모든 보상이 양수인 문제에서 모든 행동의 확률을 다 올리려 한다. baseline V를 빼서 “평균보다 나은가”로 바꿔야 방향이 생긴다.

REINFORCE

가장 단순한 policy gradient. MC로 G를 구해 위 식을 그대로 쓴다. 편향은 없지만 분산이 극도로 커서 실용적이지 않다.

Trust region — “한 번에 너무 많이 바꾸지 마”

policy gradient의 근본 문제: 기울기는 현재 정책 근처에서만 유효하다. 크게 움직이면 추정이 무의미해지고 정책이 붕괴한다.

maxθ J(θ),   subject to   DKL(πold || πθ) < δ

TRPO는 KL 발산으로 제약을 건다. 정확하지만 계산이 무겁다(2차 미분 필요).

PPO

TRPO의 제약을 clipping이라는 값싼 트릭으로 대체한 것. 가장 널리 쓰이는 on-policy 알고리즘이고, LLM의 RLHF 표준이다.

LCLIP = 𝔼[min(ρtAt, clip(ρt,1−ε,1+ε)At)]
ρt = πθ(at|st) / πold(at|st)
  • ρt: “새 정책이 이 행동을 옛 정책보다 얼마나 더 좋아하나”
  • clip으로 ρ를 [1−ε, 1+ε]에 묶는다. 보통 ε=0.2.
  • 정책이 한 번에 20% 이상 바뀌면 기울기가 0이 되어 더 안 움직인다.

왜 로봇에서 졌는가

  1. on-policy라 데이터를 버린다 — 실세계에서 치명적
  2. 사람 데모/개입을 활용할 수 없다
  3. 분산이 커서 대량 샘플이 필요
  4. 큰 모델에서 기울기 노이즈에 취약

Finn 발표의 실험에서 PPO는 trust region을 매우 작게(η = 0.01) 잡아야 겨우 안정됐고, 그러면 개선 폭도 거의 없었다. 안정성과 개선이 상충한 것.

↑ 맨 위로
PART 09

Offline RL과 정책 추출 — 네 가지 방법의 대결

“가치함수가 있을 때, 그것으로 정책을 어떻게 개선하나.” 이 질문이 두 발표의 핵심 논쟁이다. 이 절이 두 영상을 잇는 가장 중요한 부분이다.

문제 설정

데이터셋 𝒟(좋은 것 + 나쁜 것 섞여 있음)와 학습된 A(s,a)가 있다. 정책을 어떻게 뽑아낼까? 이것을 정책 추출(policy extraction)이라 한다.

방법 1: Filtered BC / SFT — “좋은 것만 골라 모방”

maxθ 𝔼(s,a)∼𝒟, A(s,a)>0[log πθ(a|s)]

성공한 데이터만 남기고 평범한 지도학습.

장점단점
극도로 단순, 안정적데이터 대부분을 버린다
사전학습과 같은 파이프라인나쁜 데이터의 방향 정보를 못 씀
에피소드 단위 필터링은 해상도 부족

방법 2: AWR — “좋은 정도로 가중치”

maxθ 𝔼(s,a)∼𝒟[exp(A(s,a)/β) · log πθ(a|s)]

버리는 대신 가중치를 준다. 이론적으로는 KL 정규화 RL의 정확한 해다.

왜 실전에서 무너지는가: 가중치가 지수함수다.

배치 256개 중 상위 5~10개가 가중치를 거의 독점
→ 나머지 246개는 실질 가중치 ≈ 0
→ 유효 배치 크기가 10 근처로 붕괴
→ 그래디언트가 요동

β에 극도로 민감하고, 잘못 잡으면 학습이 안 된다. Levine 장면 17이 지적한 바로 그 문제.

방법 3: Advantage Conditioning — “라벨로 입력에 넣기”

maxθ 𝔼(s,a)∼𝒟[log πθ(a | s, 𝟙[A(s,a)>ε])]

손실함수를 건드리지 않는다. advantage를 이진화해서 정책의 입력 토큰으로 넣는다.

  • 학습 시: advantage는 사후적으로 계산된 측정값. good/bad 둘 다 등장. 나쁜 행동도 bad 라벨을 달고 학습됨.
  • 추론 시: advantage를 계산하지 않는다. 그냥 good을 박아 넣는다. 측정이 아니라 주문.

같은 장면, 다른 조건 → 다른 행동이 되는 것이 핵심이다.

조건 토큰출력
good손목을 돌려 각도 맞춘 뒤 삽입
bad기울어진 채 밀어넣음 → 걸림

억제(suppression)가 아니라 분리(separation)다. good을 넣으면 애초에 다른 분포에서 뽑으므로 나쁜 행동은 후보에 오르지 않는다. 그래서 추론 비용이 원래 VLA와 동일하다.

이진화하는 이유: 연속값이면 테스트 때 “얼마나 좋은 값을 요구할까”라는 하이퍼파라미터가 생기고, 학습 분포 밖의 값을 넣으면 엉뚱한 행동이 나온다. 이진이면 그냥 good.

계보: Upside-Down RL(2019) → Decision Transformer(2021) → RvS(2022). “upside-down”은 최대화할 출력이던 보상을 조건으로 삼을 입력 자리로 뒤집었다는 뜻.

π*0.6은 실제 에피소드 수익 대신 학습된 가치함수의 차이를 쓰므로 V가 확률적 요동을 평균 내준 신호를 쓴다.

방법 4: CFGRL — “guidance로 증폭”

π̂(a|s) · p(o|s,a)w
  • w = 0: 조건 무시 — 데이터 전체 분포
  • w = 1: 그냥 조건화 — 방향은 맞지만 약함
  • w > 1: 좋은 데이터의 모드로 줌인

0.7 대 0.3은 2.3배지만, 5제곱하면 0.75 = 0.17 대 0.35 = 0.002로 70배가 된다. 작은 선호 차이를 큰 선호 차이로 증폭하는 손잡이가 w다.

디퓨전 이미지 생성의 CFG scale과 완전히 같은 것. 조건이 텍스트 프롬프트가 아니라 “이 행동은 잘된 것”이라는 점만 다르다.

가장 중요한 성질: 추론 시점 방법이다. 학습은 전체 데이터로 한 번만 하고, 보수적/공격적을 w로 실행 순간에 조절한다. 논문 제목의 Controllable이 이 뜻.

w를 너무 키우면 다양성이 붕괴하고 데이터 밖(OOD)으로 밀려나 “이론상 최고지만 로봇이 부술 행동”이 나온다. 이미지 생성에서 CFG scale을 20까지 올리면 그림이 타는 것과 같은 현상.

네 방법 비교표 — 두 발표의 핵심

데이터 사용손실함수개선 세기안정성결과
Filtered BC / SFT좋은 것만그냥 BC불가매우 높음베이스라인
AWR전부 — 가중치가중 BCβ — 학습 전낮음개선 없음
PPOon-policy만policy gradientclip ε낮음개선 없음
Advantage Conditioning전부 — 라벨그냥 BC이진매우 높음throughput 2배
CFGRL전부 — 라벨BC + 드롭아웃w — 추론 시높음AWR 능가

관통하는 철학

원래 RL이 하던 것이 레시피들이 바꾼 것
탐색으로 회복법 발견사람이 3초 만에 시연 — DAgger
보상 설계 + TD 학습시간 라벨 + MC 회귀
policy gradient로 가치 최대화조건부 행동 복제

수십억 파라미터 모델에서 안정적으로 작동한다고 검증된 유일한 도구가 지도학습이기 때문이다.

Offline RL의 근본 난점 — 분포 이동

critic은 타깃 계산에 Q(s′, π(s′))를 쓴다. 그런데 π(s′)가 데이터에 없던 행동을 제안하면:

  • 신경망은 그 지점을 아무렇게나 외삽한다.
  • 보통 과대평가 쪽으로 간다 — max 연산이 낙관적 오차를 골라내므로.
  • actor가 그쪽으로 이동 → 과대평가가 벨만 백업으로 전파 → 발산.
접근방법예
명시적 페널티OOD 행동의 Q에 벌점CQL
정책 제약데이터 분포에서 멀어지지 못하게BCQ, TD3+BC, BC 정규화
구조적 억제아키텍처로 Q값 폭주 차단RLPD의 LayerNorm + 앙상블
가치 최대화를 안 함조건부 BC로 우회advantage conditioning, CFGRL

마지막 줄이 두 발표가 고른 길이다. 애초에 maxa Q를 하지 않으므로 OOD 과대평가 문제가 발생할 자리가 없다.

↑ 맨 위로
PART 10

모방학습 쪽 어휘

BC — 행동 복제

maxθ 𝔼(o,a)∼𝒟demo[log πθ(a|o)]

사람 데모를 지도학습으로 그대로 흉내내는 것. 가장 단순하고 가장 널리 쓰인다.

SFT — Supervised Fine-Tuning

LLM에서 온 용어. 로봇 맥락에서는 BC와 사실상 같다. 사전학습된 모델을 대상 과제의 데모로 지도학습 파인튜닝하는 것.

π*0.6 논문의 “SFT”는 좀 더 특수하게 “advantage를 전부 True로 고정한 조건부 BC”를 뜻한다.

Covariate shift와 compounding error

데모에는 "잘 되는 길"만 있다
  → 로봇이 조금 벗어난다 (작은 오차)
  → 그 상태는 데모에 없다 → 무엇을 할지 모른다
  → 더 크게 벗어난다
  → 완전히 낯선 상태 → 완전히 엉망

오차가 오차를 부른다. 이론적으로 BC의 오차는 호라이즌 T에 대해 O(εT²)로 쌓이고, DAgger 같은 교정 기법을 쓰면 O(εT)로 줄어든다.

이것이 “모방학습만으로는 40%에서 멈춘다”의 이론적 근거다.

DAgger — Dataset Aggregation

반복:
  1. 현재 정책으로 롤아웃
  2. 그 상태들에서 전문가에게 "여기선 뭘 해야 하나" 질의
  3. (방문 상태, 전문가 행동)을 데이터셋에 추가
  4. 데이터셋 전체로 재학습

핵심: 학습자 자신이 방문하는 상태에 라벨을 붙인다. 전문가가 만든 상태가 아니라. 그래서 “내가 실제로 저지르는 실수의 교정법”만 효율적으로 배운다.

HG-DAgger / human-in-the-loop: 사람이 매 스텝 질의받는 대신, 필요할 때만 개입한다. 실용적이라 로봇에서 표준이 되었다.

  • Finn 00:07:50 설계 ①: “정책 롤아웃과 사람의 교정을 함께 배치로 사용”
  • Finn 00:25:00: EXPO-FT의 원격조작 개입
  • Levine 장면 6: RLPD의 “인간 개입(corrective demonstration)”

증류

한 모델(교사)의 행동을 다른 모델(학생)에게 옮기는 것. 로봇에서는 교사 정책을 롤아웃해서 데이터를 만들고, 그 데이터로 학생을 BC 하는 형태가 보통이다.

Levine 장면 9(RLDG)의 핵심 도구. 손기술은 스페셜리스트에게서, 일반화는 VLA의 사전학습에서 온다.

사람 데모는 데이터 1시간에 사람 1시간이 들지만, RL 정책은 밤새 혼자 돌려도 된다. 데이터 수집 비용이 인건비에서 전기요금으로 바뀐다.

탐색 — 로봇 RL의 진짜 병목

RL은 “해보고 배우는” 것인데, 애초에 성공을 한 번도 못 하면 배울 게 없다.

무작위로 팔을 흔들어서 USB가 꽂힐 확률은 사실상 0이다. 희소 보상에서 보상을 한 번도 못 받으면 critic이 배울 게 없고, actor도 방향을 못 잡는다.

Levine 발표 Q&A의 핵심 답: 파운데이션 모델을 행동 사전확률(prior)로 쓰라.

아기는 구멍에 물건을 넣을 때 구멍을 보고 그쪽으로 손을 뻗는다. 손을 무작위로 떨지 않는다.
해법방식출처
사람 개입회복 경로를 직접 시연두 발표 공통
데모를 버퍼에 섞기성공 예시를 항상 배치에 포함RLPD
BC 정규화모를 땐 base 모델을 따르라RLT
RL 토큰VLA 표현·의도를 RL actor에 주입RLT
의미 공간 탐색언어 입력을 바꿔가며 탐색Levine Q&A

액션 값을 랜덤하게 흔드는 것보다 언어를 바꿔 탐색하는 게 훨씬 나은 공간이라는 발상.

Throughput — 평가 지표

throughput = 성공 횟수 / 경과 시간

성공률만 보면 느리게 성공하는 정책이 과대평가된다. 실패하면서 시간까지 오래 끄는 정책은 이 지표에서 크게 불리해진다. 현장 KPI와 직접 연결되는 지표라, 연구 지표와 산업 지표의 간극을 줄인다.

↑ 맨 위로
PART 11

두 발표의 모든 방법 한 표에

방법푸는 문제on/off-policy정책 형태가치 학습정책 추출
BC / SFT기본선해당 없음무엇이든없음지도학습
RLPD실세계 샘플효율off-policy가우시안TD (SAC)actor-critic
SERL / HIL-SERL실세계 RL 인프라off-policy가우시안TD (SAC)actor-critic + 사람 개입
RLDG스페셜리스트 → 제너럴리스트증류VLA없음BC on RL 롤아웃
RLT제너럴리스트 → 스페셜리스트off-policy작은 actor + VLA priorTDactor-critic + BC 정규화
CFGRL좋은/나쁜 데이터 모두 활용offline디퓨전임의guidance (w)
RECAP / π*0.6대형 VLA를 안정적으로 RL반복적 offline디퓨전 VLAMC 회귀advantage 조건화
EXPO디퓨전 정책의 안정적 온라인 RLoff-policy디퓨전 base + 가우시안 editTD (Q)edit + argmax Q
EXPO-FT샘플효율 극대화off-policy위 + 청킹TD (Q)위 + 사람 개입
FASTER샘플링 계산 비용———denoising 조기 필터링
π0.7전부 통합대규모 offline디퓨전 VLA—메타데이터 조건화

세 가지 큰 갈래

  1. 모델을 작게 해서 RL을 쉽게 — RLPD, SERL. 대신 일반화 포기 → 증류로 회수(RLDG)
  2. RL을 지도학습처럼 바꿔서 큰 모델에 — RECAP/π*0.6, CFGRL. 조건부 BC
  3. 구조를 쪼개서 각자 잘하는 도구를 — EXPO(디퓨전+가우시안), RLT(VLA+작은 actor)

Levine 장면 5의 big model × sample-efficient RL × hard task 3중 결합이 이 모든 우회로의 이유다. 셋을 동시에 만족시키는 방법은 아직 없고, 각 방법은 어느 하나를 완화한 것이다.

↑ 맨 위로
PART 12

빠른 참조 — 용어 사전

기호

기호읽는 법뜻
s, ostate, observation상태 / 관측
aaction행동
rreward보상
π(a|s)파이상태를 받아 행동 분포를 내놓는 정책
τ타우한 에피소드의 기록인 궤적
γ감마할인율 — 보통 0.99
Gt리턴t부터 끝까지 보상의 할인 합
V(s)브이상태 가치 — 이 상태의 기대 리턴
Q(s,a)큐행동 가치 — 이 상태+행동의 기대 리턴
A(s,a)어드밴티지Q−V — 평균보다 얼마나 나은가
θ세타신경망 파라미터
α알파학습률 또는 SAC의 엔트로피 온도
β베타정규화 강도 — AWR, KL 페널티
ε엡실론임계값 또는 PPO의 clip 범위
w—CFG guidance weight
𝔼기대값평균
𝒩(μ,σ)정규분포가우시안
DKLKL 발산두 분포의 차이
𝟙[·]지시함수조건이 참이면 1, 아니면 0
∇θ그래디언트θ에 대한 기울기

약어

약어원어한 줄
MDPMarkov Decision ProcessRL의 문제 설정
BCBehavior Cloning데모를 지도학습으로 흉내내기
SFTSupervised Fine-Tuning로봇에선 BC와 사실상 같음
ILImitation Learning모방학습
RLReinforcement Learning강화학습
MCMonte Carlo끝까지 가본 실제 결과로 학습
TDTemporal Difference다음 상태의 추정치를 빌려 학습
GAEGeneralized Advantage Estimation여러 N-step을 지수 가중 평균
PGPolicy Gradient정책을 직접 기울기로 밀기
PPOProximal Policy Optimizationclip으로 제약한 on-policy PG
TRPOTrust Region Policy OptimizationKL 제약 PG
DDPGDeep Deterministic Policy Gradient최초 실용 연속 off-policy
TD3Twin Delayed DDPGtwin critic + 지연 갱신 + 스무딩
SACSoft Actor-Critic엔트로피 최대화 off-policy. 로봇 표준
AWRAdvantage-Weighted Regressionexp(A/β) 가중 BC
AWACAdvantage-Weighted Actor-CriticAWR의 온라인 버전
CQLConservative Q-LearningOOD 행동에 명시적 벌점
REDQRandomized Ensembled Double Qcritic 앙상블 + 랜덤 min
UTDUpdate-To-Data ratio환경 스텝 1회당 갱신 횟수
OODOut-Of-Distribution데이터 분포 밖
CFGClassifier-Free Guidance조건부/무조건부 차이를 증폭
DAggerDataset Aggregation학습자 방문 상태에 전문가 라벨
VLAVision-Language-Action로봇 파운데이션 모델
POMDPPartially Observable MDP상태를 완전히 못 보는 MDP
↑ 맨 위로
PART 13

자주 헷갈리는 것 정리

V vs Q vs A

V(s)     = 이 상태, 얼마나 좋아?                    (행동 미지정)
Q(s,a)   = 이 상태에서 이 행동, 얼마나 좋아?         (행동 지정)
A(s,a)   = Q - V = 이 행동이 평균보다 얼마나 나아?   (상대적)

기억법: V는 상태만, Q는 상태+행동, A는 그 차이.

MC vs TD

MC: 끝까지 가보고 → 실제 결과를 정답으로 → 느리지만 안정적
TD: 한 스텝 가보고 → 내 예측을 정답으로  → 빠르지만 불안정

기억법: MC는 결산, TD는 가결산.

on-policy vs off-policy vs offline

데이터 수집과거 데이터
on-policy현재 정책으로 계속버림
off-policy계속 수집재사용
offline안 함고정 데이터셋만

기억법: on = 지금 것만, off = 아무거나, offline = 새로 안 모음.

SFT vs BC vs Filtered BC

BC            : 데모 전부 모방
Filtered BC   : advantage > 0 인 것만 모방
SFT (π*0.6)   : 데모만 + advantage 전부 True로 고정

advantage conditioning vs AWR vs CFG

advantage를 어디에
AWR손실함수의 가중치로
Advantage Conditioning정책의 입력으로 — 이진 라벨
CFG입력으로 + 추론 시 w로 증폭

기억법: AWR은 가중치, 조건화는 입력, CFG는 입력+증폭.

학습 시 advantage vs 추론 시 advantage

학습 시: 결과를 이미 안다 → 계산한다  → 측정값(채점) → good/bad 둘 다
추론 시: 결과를 모른다   → 계산 안 함 → 주문(명령)   → 항상 good

결과를 입력 자리로 옮겨서 조건으로 만든 것. 인과를 뒤집은 게 아니라, 인과를 아는 데이터로 학습해두고 나중에 원하는 결과를 역으로 요구하는 구조.

↑ 맨 위로