VLA 대화 정리
VLA 대화 정리 · 음성 세션

VLA, 구조에서
굴착기 적용까지

계보와 구조를 짚고, 굴착기와 필드로봇에 어떻게 맞출지 정리

2026.11.14
이한민 · hmlee@kimm.re.kr
01

전체 흐름

구조를 이해하고 굴착기에 맞추는 순서를 정한다
01계보쓸 수 있는 모델 · 세 단계의 변화
02구조한 박자와 분리 · GR00T와 π0
03굴착기동기식 먼저 · 지형 정보 넣기
04필드로봇본체 하나 · 장비별 모듈
05데이터월드 모델 · 영상에서 행동
02

3분 요약 영상

손그림으로 보는 구조와 굴착기 적용 · 소리 있음
03

1. 지금 쓸 수 있는 VLA

직접 고쳐 쓸 수 있는 건 GR00T N1.7과 π0.5까지
가중치 공개 · 직접 파인튜닝GR00T N1.73B · 상업 사용 가능π0 · π0.5openpi · 이후 버전은 비공개우리 후보 두 축X-VLA0.9B · 소프트 프롬프트OpenVLA7B · 행동 토큰SmolVLA0.45B · 빠른 실험MolmoAct경로를 먼저 그림InternVLA-M1공간 그라운딩RoboDual이중 시스템 참고비공개 · API만Gemini Robotics 2VLA 본체 · 협력사만Gemini Robotics-ER 2추론 모델 · API로 사용Helix · Helix 02논문·가중치 없음
2026년 11월 검색 기준 · Gemini Robotics 2는 2026.7.30 발표
04

2. 세 단계의 변화

보는 눈과 움직이는 손이 점점 떨어진다
RT-2행동을 토큰으로한 모델 · 수 Hzπ0 · GR00TVLM + 액션 헤드연속 청크 · 실행 50 HzHelix생각과 반사를 분리S2 7~9 Hz · S1 200 HzVLM112791842한 스텝씩 토큰으로VLM액션헤드동작 수십 개 묶음시스템 2 · 느리게시스템 1 · 빠르게잠재 벡터 하나로 연결
05

3. 두 부분과 청크

이해하는 모델 + 움직임을 만드는 모델 → 동작 묶음(청크)
06

4. 한 박자 vs 생각·반사 분리

π0는 청크로, Helix는 모듈 분리로 속도 차를 만든다
07

5. GR00T와 π0의 구조 차이

가장 근본은 묶느냐, 떼느냐 · 떼어 낸 쪽이 비동기로 바꾸기 쉽다
π0 · 한 몸GR00T · 떼어 낸 구조VLM액션 전문가VLMDiT모든 층의 K·V를 공유중간층 출력 토큰 하나1두 트랜스포머 구조가 같음DiT를 따로 설계2입출력 공용 32칸장비별 전용 모듈3
08

6. 조건을 넣는 세 가지 방법

기준은 크기보다 공간 구조가 있느냐
토큰으로 붙이기작은 벡터 하나Helix크로스 어텐션공간 구조가 있는 큰 정보π0 · GR00TadaLN요약 벡터로 층을 조절DiT · DigNet같은 줄에 서서 함께 섞임VLM 토큰 (고정)행동 토큰이 필요한 곳을 꺼내 봄z층마다 크기·이동 값을 조절
09

7. 굴착기는 동기식 먼저

박힘·튐이 보이면 그때 압력을 느끼는 빠른 모델을 붙인다
10

8. 제어 주기를 정하는 기준

VLA는 20~50 Hz면 충분 · 추론 지연도 위상 지연에 넣어 계산
VLA실린더 속도·목표 위치20~50 Hz서보 제어기밸브 전류100 Hz+유압 밸브 · 실린더지연 수십~백 ms대역폭 수 Hz제어 주기대역폭 × 5~10나이퀴스트 2배는 최소일 뿐10배18°위상 지연5배36°위상 지연
위상 지연은 반 주기 지연(영차 홀드) 기준 · 정확한 값은 시뮬레이터 유압 모델의 응답 시간을 재서 정함
11

9. 땅의 높낮이를 넣는 법

감독(VLM)에는 차이 맵, 실무자(액션)에는 버킷 주변 점군
12

10. 논문 주제: 지형 정보 넣는 방법 비교

어디에, 어떤 형태로 넣어야 굴착이 잘 되는가 · AGX 시뮬레이터로 검증
2D 높이맵 이미지CNN 토큰점군 인코더VLM (감독)액션 엑스퍼트 (실무자)둘 다① 기본안–––② 따로 넣기③ 점군 그대로④ 역할 분담VLM = 차이 맵 이미지 · 액션 = 버킷 주변 점군넣는 위치 × 표현 방식기준선: 카메라만목표 지형 오차사이클당 굴착량지시 따르기라이다 노이즈 내성
13

11. 공격점을 정하는 세 갈래

외부 모델은 데이터 공급원, 최종 목표는 직접 학습
A외부에 묻기Gemini Robotics-ER 2 · 범용 LLM
좌표 찍기는 ER, 숫자 격자는 LLM
B직접 학습GR00T · π0 파인튜닝
공격점을 보조 정답으로 함께 학습
C섞어 쓰기A·휴리스틱으로 데이터를 모아
B를 학습 → 엔드투엔드
14

12. 필드로봇 파운데이션 모델

본체는 하나, 입출력 모듈만 장비별로 · 데이터를 모아 한 번에 학습
공유 본체VLM + DiT굴착기상태·행동 전용 모듈트랙터상태·행동 전용 모듈사족 로봇상태·행동 전용 모듈수확 로봇상태·행동 전용 모듈장비 간 약속 = 시간 맞춘 영상·상태·행동·작업 설명 + 값 설명서
모델 머징·LoRA 어댑터는 중간 단계 · 카메라는 공유 VLM으로 들어가므로 장비 안에서는 구성을 고정
15

13. 제너럴리스트 vs 스페셜리스트

비교 변수는 다른 장비 데이터가 있느냐 하나만
01굴착만 시험처음 보는 지형·흙·지시문
02굴착 데이터 동일추가분만 다른 장비
03학습량 맞춤전체 스텝 · 굴착 노출 횟수
04데이터 곡선10 · 30 · 100%로 비교
05섞는 장비 둘흙 다루는 장비 vs 무관한 팔
RT-X: 데이터가 적은 로봇은 섞으면 오르고, 많은 로봇은 떨어지기도 함(음의 전이)
16

14. 미리 내다보기: 굴착 전용 월드 모델

높이맵 + 버킷 경로 → 파고 난 뒤 지형 · 후보 중 최고만 실행
17

15. DigNet과 휠로더 WAM

행동을 숫자가 아니라 지도로 그려 넣은 것이 핵심
DigNet 크기6.3만파라미터 · U-Net
2채널 입력(높이맵+굴착 깊이)
시뮬레이터 속도200+ FPSDEM을 대신해
그 안에서 PPO 학습
스쿱 횟수652→541월드 모델 순위로 17% 감소
32/32 완주 (WAM)
온보드 추론72.4 ms후보 5개 평가
Jetson AGX Orin
DigNet: Duan & Yang (UBC), SSRN 6662199 · 축소 로봇팔로 검증 · WAM: Zhang et al., arXiv 2609.15382 · 정량 결과는 높이맵 시뮬레이터 기준
18

16. 영상에서 행동 데이터 얻기

굴착기는 단단한 링크 네 개 → 바깥 영상으로도 자세가 잘 보인다
공사장 영상CCTV · 외부 카메라관절값 추출키포인트 + 기구학행동 라벨역동역학 · 잠재 행동CCTV에서는 동작 리듬·작업 순서 같은 움직임의 사전 지식을 배운다어디를 팔지는 라이다 높이맵이 있는 시뮬레이터·실장비 데이터로
다음에 더 깊이 논의하기로 한 주제 · 옆에서 찍힌 영상이면 붐·암·버킷 각도는 2D로도 가능, 스윙은 더 어려움
19

17. 데이터, 강화학습, 실장비

다양한 지형과 회복 장면이 양보다 중요
수집자동 생성 + 사람 조금TO+MPC·RL 정책으로 대량 생성
사람 시연은 어려운 장면·회복 위주
RL잔차 정책으로 다듬기VLA는 얼리고 작은 보정만 학습
흙 저항에 맞춘 깊이 조절
실장비차이 세 군데흙 · 센서 · 유압 응답
실데이터 수십~백 개로 마무리
탑재는 Jetson AGX 급 · 비상정지와 작업 영역 제한은 VLA와 분리된 제어기에
20

다음 걸음

실패 장면이 보일 때마다 한 단계씩 더한다
01동기식 기준선GR00T · π0.5를 같은 데이터로
02지형 주입 비교맵·CNN·점군 → 논문
03프로빙공격점 정보가 넘어가는지 확인
04빠른 반사비동기 S1 · 잔차 RL
05내다보기DigNet 확장 · 영상 데이터
21

출처

대화에서 확인한 자료 · 기억에 기댄 수치는 원문 확인 필요

GR00T N1.7
NVIDIA, Hugging Face 블로그 (2026.4) · github.com/NVIDIA/Isaac-GR00T

Helix
Figure AI 발표 글 · S2 7B 7~9 Hz, S1 80M 200 Hz

RoboDual
Bu et al., arXiv 2410.08001 · 15 Hz vs OpenVLA 3.9 Hz

X-VLA
arXiv 2510.10274 (ICLR 2026) · Florence-Large 기반 0.9B

Gemini Robotics 2
Google DeepMind (2026.7.30) · ER 2만 공개

DigNet
Duan & Yang, SSRN 6662199 (2026)

WAM
Zhang et al., arXiv 2609.15382 (2026.9)

Size Doesn't Matter
MPM 입자 시뮬레이션 RL · 11.5톤 굴착기와 탁상 로봇

DiT
조건 주입 방식 비교(토큰·크로스 어텐션·adaLN)

RT-X
Open X-Embodiment · 여러 로봇 데이터 공동 학습

OpenVLA 약 6 Hz, π0 추론 시간, GR00T 16스텝 청크 등은 검색 없이 말한 값
22