2026 Actor Labs - A VLA Policy for an Excavator_요약

A VLA Policy for an Excavator — Actor Labs

[!abstract] 한 문장 요약 실험실 로봇이 아닌 실제 굴착기에 Physical Intelligence의 π0.5를 LoRA 파인튜닝해 얹고, 관절 엔코더 없이 조이스틱 4D 상태를 행동 공간으로 삼아 VLA가 중장비를 직접 조종하도록 만든 과정 보고서. 데이터·인터페이스·모델 세 가지 장벽을 각각 어떻게 넘었는지가 핵심.

[!note] 문서 성격 동료평가 논문이 아니라 스타트업 기술 블로그다. 정량적 성공률·벤치마크 수치는 제시되지 않고, 방법론과 엔지니어링 의사결정 위주다. 읽을 때 이 점을 감안할 것.


1. 문제의식 — VLA는 왜 실험실 밖으로 못 나갔나

VLA(Vision-Language-Action) 모델은 물건 분류, 빨래 개기 같은 일상 작업에서 범용 로봇 정책의 가능성을 입증했다. 그런데 왜 실험실 밖에서는 거의 쓰이지 않는가? 저자들은 세 가지를 지목한다.

장벽 내용
Data 제대로 라벨링된 고품질 로봇 데이터는 LLM/VLM용 텍스트·이미지 코퍼스보다 수 자릿수 적다. 통제된 실험실에서는 수집이 쉽지만, 건설 현장·농경지 같은 거친 실환경은 완전히 다른 게임이다.
Interface 깨끗한 데이터와 좋은 모델이 있어도 5톤짜리 남의 기계를 어떻게 제어할 것인가. 진동을 견디며 고주파로 스트리밍하는 센서 스택, 수십억 파라미터 모델을 저지연 추론할 엣지 컴퓨트, 기계 컴퓨터로 제어값을 보낼 하드웨어가 모두 필요하다.
Model 안전이 최대 리스크다. 잘못 학습된 모델의 예측은 환경 파손과 인명 피해로 이어진다. 통제되지 않은 무한한 실외 공간은 RGB 입력만으로는 부족한, 훨씬 미묘한 환경 이해와 높은 반응성을 요구한다.

핵심 기술적 불일치: 관절 상태 vs 제어값

[!important] 이 글의 출발점 오늘날 성능 좋은 VLA는 n차원 관절 상태 벡터를 예측하는 action head를 쓴다. 지금까지 VLA로 제어된 모든 로봇은 내장 관절 엔코더를 갖고 있었기에, 예측된 관절값을 엔코더로 흘려보내면 그만이었다. 그런데 실제 중장비는 관절 상태가 아니라 제어값(control value)으로만 움직인다. 게다가 상당수는 내장 엔코더 자체가 없다. 관절 상태를 정확히 기록하려는 시도는 극도로 침습적이고, 애초에 관절을 직접 제어할 수 없으니 무의미하다.

관점 전환 — "untapped robots"

저자들의 미션은 "실험실 모델과 실세계 기계 사이의 간극을 메우는 것". 중장비 산업에 이미 깔려 있는 방대한 기계 재고를 범용 로봇 모델의 서사로 끌어들이자는 발상이다. 이 기계들은 이미 미개척 로봇(untapped robots) — 반복 작업, 배포 플랫폼, 비정형 공간 일반화 수요라는 범용 로봇 모델의 완벽한 재료를 갖췄다.


2. 허들 1 — 데이터 수집

Actor Collector Node

중장비 조작 데이터 중 액션 레이어 + 라벨링된 궤적 + 시각 데이터가 동기 수집된 데이터셋은 사실상 존재하지 않는다. 그래서 자체 수집 장비를 만들어 현업 기계에 부착했다.

설계 원칙: 센서 모달리티 수 최소화 (LiDAR·IMU 등 배제)

[!tip] 이 부분이 이 글에서 가장 영리한 대목 기계에 어떤 계측 장비도 침습적으로 달지 않고, 운전자의 손을 카메라로 보는 것만으로 액션 라벨을 만든다. 데이터 수집 비용과 설치 난이도를 동시에 무너뜨리는 접근.

배포 및 태스크 다양성

태스크 분해 — 반복성을 확보하는 방법

현업 운전자는 매번 커스텀 작업을 한다. 반복 작업이라 해도 정확히 같은 작업은 아니다. 환경 자체가 상호작용하는 순간 변하기 때문이다. 저자들은 짧은 시간 지평에서 태스크를 서브태스크로 쪼개면 훨씬 세밀한 반복성을 찾을 수 있음을 관찰했다.

Mission Task: "농경지에 배수관을 묻을 참호선을 파라"
        ↓
Subtasks:  굴착 지점으로 이동  →  굴착 시작  →  선회 & 덤프 사이클

큰 미션 태스크라도 서브태스크 수준에서는 상당히 반복적·중복적이며, 역량이 확장되면 점차 더 큰 미션 태스크로 사다리를 올라가겠다는 구상.

자체 수집

현장 데이터 외에, 보유 기계에서 VR 원격조작(teleoperation) 과 가시선(line-of-sight) 제어로도 궤적을 수집. 둘을 합쳐 VLA 친화적 형식의 대규모 중장비 데이터 코퍼스를 축적했다고 밝힌다.


3. 허들 2 — 인터페이스 (기계를 로봇으로 만들기)

[!success] 좋은 공통점: 모든 중장비는 drive-by-wire다 즉 전기 신호가 기계의 거의 모든 부분을 제어하며, 통상 CANBUS 같은 인터페이스를 통한다.

[!warning] 데모 영상 관련 주의 원문 각주: 블로그 상단 데모 기계는 렌탈 장비라 조이스틱을 직접 로봇으로 제어하고 있다. 즉 상단 데모는 CANBUS 직결이 아닌 조이스틱 물리 조작 방식이다.


4. 허들 3 — VLA 조이스틱 제어 (핵심 기여)

왜 엔코더도 IMU도 안 되는가

→ 차선의 행동 공간은? 조이스틱.

The Zero-Point Problem

저자들은 처음에 VLA가 조이스틱으로 로봇을 제어할 수 있다고 생각하지 않았다.

조이스틱 위치 팔(암) 위치
거동 매 조작 후 0으로 복귀 누적됨 — 0으로 결코 복귀 안 함

해법 — 다음 조이스틱 상태를 직접 예측

관절 위치를 예측하는 대신, 다음 조이스틱 상태를 직접 예측하도록 학습시킨다.

$$\mathbf{a}_t = [l_x, l_y, r_x, r_y], \quad \text{각 값} \in [-1.0,\ +1.0]$$

액션 컨벤션 (현재 관측으로부터 다음 조이스틱 상태 예측):

$$\mathbf{a}t = \mathbf{s}{t+1}$$

전처리 파이프라인:

  1. 데드존 필터 — 스틱 드리프트 제거, $d = 0.12$

$$f(v) = \text{sign}(v) \cdot \frac{|v| - d}{1 - d}$$

  1. 분위수 정규화(Quantile Norm) — 데이터셋 통계로 $[-1, 1]$ 범위 정규화. 운전자마다 다른 조작 스타일 전반에서 학습을 안정화

$$\hat{x} = \frac{2(x - q_{01})}{q_{99} - q_{01}} - 1$$

모델 구성

Model Input
├── Vision    : 단안 카메라 × N대 (전방 뷰 + 외부 뷰)
├── Language  : 자연어 태스크  예) "remove dirt and place in pile"
└── Action    : 4D 조이스틱 상태 [lx, ly, rx, ry]
                        ↓
              π0.5  ·  LoRA fine-tuned  ·  flow matching

원문에는 실제 수집된 조이스틱 데이터(joystick-data.csv)를 좌/우 스틱 궤적으로 재생하는 인터랙티브 4D 액션 공간 리플레이 시각화가 포함되어 있다.


5. 결론과 다음 단계

팀

Lane(20세), Shashi(19세), Feras(18세), Raza(19세) — 전원 10대 후반~20세.


6. 후속 포스트

같은 연구 페이지에 후속 글이 있다.

Excavator In The Wild (2026-05-25) "숙련 운전자의 작업을 단 2.5시간 관찰한 뒤, 우리 굴착기가 실제 현장에서 토공 작업을 자율 수행했다."

이 요약본의 후속으로 별도 정리 필요. → 위 4장 조이스틱 액션 공간이 실제로 얼마나 통했는지에 대한 답이 여기에 있을 가능성이 크다.


7. 평가 및 우리 관점에서의 시사점

[!question] 참고할 만한 지점 - 액션 공간 설계: 관절 상태 대신 조이스틱 4D를 행동 공간으로 잡는 발상은, 엔코더 레트로핏이 어려운 상용 굴착기에 그대로 적용 가능한 우회로다. 2025 Towards Fully Integrated Autonomous Excavation-서울대_요약 계열의 관절/실린더 상태 기반 접근과 정반대 극단이라 비교 가치가 있다. - 데이터 라벨링: 운전자 손을 YOLOv8로 관측해 액션 라벨을 만드는 방식은, 현장 데이터 수집 비용 문제에 대한 실용적 답. 국내 현장에서도 동일 방식 적용 가능성 검토할 만함. - 비침습 CANBUS + 엣지 컴퓨트: 기존 상용 장비를 개조 없이 로봇화하는 경로. 실증 시 인증·안전 이슈 부담이 크게 줄어든다.

[!caution] 한계 및 유보 - 정량 결과 전무 — 성공률, 사이클 타임, 정밀도, 비교 베이스라인 어느 것도 제시되지 않는다. "잘 됐다"는 서술과 데모 영상뿐. - 안전을 3대 장벽으로 지목해놓고 해법은 제시하지 않음 — 서론에서 안전이 중대 리스크라 했으나, 본문에 안전 계층·개입 메커니즘·페일세이프 논의가 없다. - 조이스틱 상태 예측의 근본 문제 미해결 — 영점 문제를 "다음 스틱 상태를 직접 예측"으로 우회했지만, 이는 위치 제어가 아니라 속도 제어에 가까운 개루프이며 누적 오차 보정 메커니즘이 없다. - 액션 라벨 정밀도 — YOLO 비전 추정의 오차 구조는 아래 7.1 참조. - 상태 관측의 충분성 — 단안 카메라만으로 굴착 상태가 관측되는가는 아래 7.2 참조. 이 글의 가장 큰 취약점. - 데모 기계가 렌탈이라 조이스틱을 물리적으로 로봇 제어했다는 각주는, CANBUS 직결 파이프라인이 아직 완전 검증되지 않았을 가능성을 시사한다.


7.1 액션 라벨의 정밀도 — YOLO 비전 추정은 충분한가

[!note] 먼저 정정 검출 대상은 운전자의 손이 아니라 조이스틱이다. 원문은 "기계가 보편적으로 조이스틱으로 조종되므로 그 움직임을 시각적으로 4D 액션 공간에 전사한다"고 쓴다. 운전자 방향 카메라는 그걸 보기 위한 것이고, 손은 오히려 폐색(occlusion) 요인이다.

원문은 이 부분을 한 문장으로 처리한다. 아래는 자체 분석.

오차원 (1) 투영 축소 — 가장 큰 문제

단안이므로 3D 틸트가 2D로 눌린다. 광축과 대략 직교하는 축(좌우 틸트)은 픽셀로 잘 잡히지만, 광축 방향 축(전후 틸트)은 이미지상 이동량이 크게 압축되고 원근 때문에 그 압축이 비선형이다. 결과적으로 두 축의 라벨 품질이 비대칭해진다.

개략 감각 (추정치 — 원문에 카메라 사양·설치 거리 언급 없음):

항목 값
조이스틱 축당 전체 스트로크 약 120~150 mm
카메라 120° FOV / 1920px, 거리 1 m 약 1 px/mm
BBox 중심 지터 ±2 px 풀스케일 대비 약 ±1.5%
광축 방향 축 위 값의 3~5배 악화로 추정

오차원 (2) 폐색 — 손이 노브를 감싸므로 검출 대상이 상시 부분 가림. 조작 없이 손만 올려둔 구간도 다수. 오차원 (3) 설치별 캘리브레이션 편차 — 캡 형상·마운트 자세가 기계마다 다른데, 픽셀→[-1,1] 사상의 캘리브레이션 절차 언급이 전혀 없다. 오차원 (4) 진동·모션블러·롤링셔터 — IMU를 폐기하게 만든 그 진동이 카메라에도 동일하게 걸린다.

[!tip] 데드존 d = 0.12는 노이즈의 자백 풀스케일 ±12%를 통째로 0으로 누르는 건 매우 큰 데드존이다. 물리 조이스틱의 실제 기계적 데드존은 통상 이보다 훨씬 작다. 분위수 정규화(q01/q99 클리핑)와 함께, "우리 라벨에는 노이즈가 있다"는 설계상의 인정으로 읽힌다.

그럼에도 성립할 수 있는 이유

[!warning] 진짜 문제는 랜덤 노이즈가 아니라 계통 편향 위 상쇄 논리는 오차가 영평균일 때만 성립한다. 그런데 비전 라벨 오차는 그렇지 않다. - 투영 왜곡 → 스틱 위치에 상관된 편향 (중앙과 끝단의 게인이 다름) - 마운트 편차 → 설치마다 고정된 편향 - 조명·먼지 → 환경마다 고정된 편향

계통 편향은 평균으로 사라지지 않고 왜곡된 제어 사상을 그대로 학습시킨다. 여러 기계 데이터를 합칠 때 상충 신호로 들어가 성능 상한을 깎는다.

미해결 역설: 이미 CANBUS에 올라타 있으면서 왜 조이스틱 신호를 직접 안 읽나

허들 2에서 저자들은 CANBUS에 붙어 스로틀·브레이크를 제어했다고 쓴다. 전자식 조이스틱이면 스틱 명령값이 버스 위에 정확한 숫자로 이미 흐른다. 읽으면 완벽한 그라운드 트루스가 공짜다. 원문은 이 모순을 다루지 않는다. 추정되는 답:

  1. 소유권·설치 마찰 — 수집 노드는 남의 기계에 붙이는 물건. 캡 안 카메라는 5분과 구두 동의면 되지만, 남의 장비 버스 배선은 보험·보증·책임이 따라온다. 플릿 확산에는 무배선이 필수
  2. 파일럿 유압식 기계엔 전기 신호가 없음 — 구형·중형기는 조이스틱이 유압 파일럿 압력을 직접 만든다. 전자식이어도 OEM CAN 메시지는 비공개라 제조사별 리버스 엔지니어링 필요

→ 정밀도를 버리고 배포 가능성을 산 의도적 거래로 보이나, 원문이 근거를 밝히지 않아 독자에겐 그냥 허술해 보인다.

4D로는 아예 못 잡는 축

원문 자체에 불일치가 있다. 서브태스크 예시는 굴착 지점으로 이동 → 굴착 시작 → 선회 & 덤프 사이클인데, "이동"은 조이스틱이 아니라 주행 페달·레버(좌우 트랙 각 1자유도)로 한다. 4D 조이스틱 공간에는 이 축이 없다. 보조 유압(틸트로테이터·썸), 엔진 RPM 다이얼도 빠져 있다. 실제로는 주행 구간을 데이터에서 제외했거나 아직 안 다룬다는 뜻일 것이다.


7.2 상태 관측의 충분성 — 단안 카메라만으로 굴착이 되는가

[!danger] 이 글의 가장 큰 취약점 굴착은 지형 기복과 토질이 제어를 좌우하는 작업인데, 이 정책이 받는 상태는 RGB 이미지 + 자연어 + 조이스틱 위치뿐이다. 그리고 그 조이스틱 위치조차 명령값이지 측정값이 아니다.

굴착이 상태로서 실제로 요구하는 것

요구 상태 이 구성에서 관측되는가
굴착면 프로파일, 설계 고도 대비 깊이 ✗ (계량적 깊이 없음)
토사더미 위치·높이 △ (시각 단서만)
버킷 적재량 ✗
굴착 저항 — 절삭깊이·레이크각·토질(점착력, 내부마찰각, 밀도, 함수비)의 함수 ✗
버킷의 계량적 자세 ✗ (엔코더 없음)
기체 안정성·트랙 슬립 ✗
설계 기준면 (실시공은 측량 모델에서 취득) ✗

단안 RGB를 변호하면 — 생각보다 절망적이진 않다

여기까지는 저자들 편이다. 그런데—

[!important] 사람에게 있고 이 정책에는 없는 것 — 깊이보다 큰 구멍 힘/부하 피드백. 운전자는 엔진 러그음, 릴리프 밸브 블로우오프, 스틱 스톨, 시트 진동으로 버킷이 찼는지·예상보다 단단한지·바위를 쳤는지를 안다.

이 정책의 상태 입력에는 고유수용성 감각이 전혀 없다. 조이스틱 위치는 자기가 내린 명령이지 기계의 응답이 아니다. 즉 기계와 토양이 무엇을 하고 있는지에 대한 피드백 채널이 구조적으로 존재하지 않는다. 유일한 폐루프는 픽셀을 통한 것뿐이다.

깊이 부재는 두 번째 문제다. 첫 번째는 이것이다.

결정적 폐색 — 굴착의 임계 구간에서 버킷은 흙 속에 있다. 절삭 깊이도 적재량도, 관측이 가장 필요한 순간에 관측 대상이 안 보인다.

토질은 원리적으로 비전 관측 불가 — 젖은 점토와 마른 점토는 시각적으로 유사할 수 있으나 굴착 저항은 크게 다르다. 시각적으로 동일한 두 장면이 서로 다른 제어를 요구하므로, 학습 데이터에 모순 라벨로 들어간다. 규모를 키워도 해소되지 않는 종류의 모호성이다.

정밀도 스펙 문제 — 관로·기초처럼 설계 고도 준수가 필요한 시공은 cm급을 요구한다. 실무 자동화는 GNSS-RTK + IMU + 머신컨트롤 모델로 푼다. 비전 온리로는 도달 불가. → 이 접근이 겨냥할 수 있는 건 "대충 흙을 옮기는" 등급의 작업이다.

필드 표준과의 대조

접근 지각 고유수용성
ETH Boulder Excavation 암석당 LiDAR 20점 (최소하지만 계량적) 암 상태 피드백
SNU (이동준 그룹) 전 상태 관측 실린더 수준 제어 + MPC
Actor Labs 단안 RGB만 없음

→ 이 분야에서 확연한 아웃라이어다.

값싸게 메울 수 있었는데 언급조차 없는 것들

→ 수단이 가용한데 안 썼다는 건 "원리적 한계"보다 "아직 안 함" 일 가능성이 높다. 이 점이 이 접근의 향후 개선 여지이자, 현 시점 결과를 신뢰하기 어려운 이유다.

[!failure] 판정 — 후속 글 확인 완료, 여전히 미해결 (2026-08-17 갱신) 후속 글 Excavator in the Wild(2026-05-25)를 확인한 결과, 공차 스펙·성공률·사이클 타임·실패 사례·베이스라인이 전부 없다. 제품 발표 + 파트너 모집 글이라 기술적으로 확인할 것이 없었다.

다만 간접 증거는 나왔다. 회사의 /hiring 하드웨어 채용 요건에 센서 스위트가 "Cameras, LiDAR, Radar, GNSS, and IMUs" 로 명시되어 있고, 모델 포지션에는 강화학습·시뮬레이션·평가 프레임워크가 요구된다.

→ 단안 온리와 순수 모방학습은 현재 상태이지 종착점이 아니다. 위 7.2에서 지적한 계량적 깊이·절대 측위·고유수용성의 부재를 회사도 인식하고 있다고 보는 것이 타당하다. 상세는 후속 노트 3장 참조.


참고 링크

관련 노트