01고전 제어모델링과 인지의 벽
02강화학습보상 · 사람 개입 · HIL-SERL
03모방학습ACT · 디퓨전 폴리시
04범용 정책VLA · π0 · SmolVLA
05필드 로봇어디서 공통화할까

고전 제어의 한계에서 강화학습, 모방학습, VLA까지 · 그리고 필드 로봇에 옮기기
2026.11.18






| 시뮬레이션 강화학습 (보행) | HIL-SERL (조작) | |
|---|---|---|
| 중간 가이드 | 보상 항을 사람이 설계 높이 유지 · 전진 · 서 있지 않기 | 시연 + 개입이라는 데이터 |
| 최종 목표 | 보상 함수에 함께 | 성공 분류기 |
| 시행착오 | 수천 대 병렬, 수백만 번 | 실물 한 대, 한두 시간 |
| 맞는 과제 | 사람이 보여 주기 어려운 것 | 짧고, 사람이 보여 줄 수 있는 것 |









| ACT | 디퓨전 폴리시 | |
|---|---|---|
| 오차 누적 | 행동 묶음 | 행동 묶음 |
| 다중 모드 | CVAE의 z로 편차 흡수 (반쯤) | 분포에서 샘플링 (제대로) |
| 묶음 실행 | 매 스텝 새 묶음 + 가중 평균 | 앞부분만 실행하고 다시 예측 |
| 추론 속도 | 한 번에 출력 | 여러 번 걷어내야 해서 느림 |








Robot Learning: A Tutorial
Capuano, Pascal, Zouitine, Wolf, Aractingi · Oxford · Hugging Face · arXiv 2510.12403
강의 영상
Deep Learning with Yacine · Robot Learning Tutorial with Francesco Capuano (2026.11.6 라이브) · 제목과 설명란만 확인
HIL-SERL
Luo 외(버클리, 2024) · 사람 개입 실물 강화학습 · RLPD, 성공 분류기
ACT · 디퓨전 폴리시
Zhao 외(2023, ALOHA) · Chi 외(2023)
π0 · SmolVLA
Physical Intelligence(2024) · Hugging Face(2025, arXiv 2506.01844)
실물 굴착기 사람 개입 RL
Human-in-the-Loop RL to Track Excavation Paths for a Hydraulic Excavator in a Short Period of Time · 초록만 확인
ExT · Vortex 보상 학습
음성 대화 중 검색으로 찾은 자료 · 이번 작업에서 다시 확인하지 않음
앞선 정리
VLA, 구조에서 굴착기 적용까지(11.14) · 굴착기의 머리는 누가 맡을까(11.15)