2026 Actor Labs - Excavator in the Wild_요약
Excavator in the Wild — Actor Labs
[!abstract] 한 문장 요약 앞선 VLA 굴착기 정책의 후속 발표. 숙련 운전자 작업을 2.5시간 관찰한 데이터만으로 실제 현장에서 굴착기가 자율 토공을 수행했다고 주장하며, 미 전역 60대 이상 기계로 데이터 수집 중임을 공개하고 파트너 계약자를 모집한다.
[!danger] 문서 성격 — 기대와 다름 기술 보고서가 아니라 제품 발표 + 영업 공고다. 본문 전체가 4개 섹션, 문단 8개 분량에 불과하고 정량 지표가 단 하나도 없다. 앞 노트에서 "후속 글에서 공차 스펙을 최우선 확인할 것"이라 적었으나, 확인할 것이 없다.
1. 발표 내용 (원문 거의 전부)
Announcement
- 오늘 "실세계 실용 가능 굴착기 정책(real-world viable excavator policy)" 의 데모를 공개한다
- 숙련 운전자의 작업을 단 2.5시간 관찰한 뒤, 굴착기가 실제 현장(real jobsite)에서 토공 작업을 자율 수행했다
- 모델이 다양한 조명 조건과 작업 장소에 성공적으로 적응한다. 이는 계약자가 한 현장에서만 데이터를 수집해도 모든 현장에 배포할 수 있다는 뜻이다
- 이미 미 전역 계약자들과 60대 이상의 기계로 협업 중이며, 굴착기·불도저·스키드스티어 등의 자율 모델을 수집·학습하고 있다
Deployments
인터랙티브 지도로 배포 지점 8곳을 표시한다.
| 주 | 지점 |
|---|---|
| 캘리포니아 | Dublin, Castro Valley |
| 캔자스 | Manhattan, Chapman |
| 테네시 | Murfreesboro, Nashville, Tazewell, Greenbrier |
영업 제안(원문): "당신의 기계가 일하는 걸 우리가 지켜보게 해달라. 그러면 운전자의 시간을 잡아먹는 반복 작업을 자동화해주겠다." 하루 종일 유사하고 일관된 작업을 수행하는 기계에 특히 관심이 있다고 밝힌다.
Results
- 영상 2개만 게시 —
success-grid.mp4(성공 사례 그리드),two-scoops.mp4 - 본문: "이제 접근법이 통한다는 증거를 확보했고, 이건 시작일 뿐이다. 플릿 규모를 키우면 정책은 더 빠르고, 더 안전하고, 역량 면에서 더 창발적이 될 것이다."
- 수치 0개.
Partner With Us
- 첫 파트너가 될 기계 플릿을 찾는다. 계약자·플릿 매니저 대상
- 그쪽 기계가 실제로 하는 작업을 특정해 데이터를 모으고 기계를 가르치겠다는 제안
- "현장에는 중단할 시간이 없다는 걸 알기에, 하드웨어는 전부 우리가 직접 배포한다"
- 문의: contact@labs.actor
기여자
Lane Burgett*, Shashi Shekhar Verma*, Feras Sawan*, Vinny Sun*, Raza Malik*, 그리고 Jack Vierhus, Ian Hermansson, Charlie Borchers. 운전자 Tucker L., Andrew M., Mason W., Montana C. 에게 감사 표기 — 데이터 제공 운전자가 4명이라는 단서.
2. 앞 노트의 유보 판정에 대한 답 — 여전히 미해결
[!failure] 확인하려던 것과 실제 앞 노트 7.2에서 "거친 토공은 비전만으로 되는가, 어느 공차 등급인가" 를 후속 글에서 확인하겠다고 유보했다. 답은 "확인 불가" 다.
원문에 없는 것:
- ✗ 공차 스펙 — 설계 고도 대비 오차 몇 cm인지 언급 없음
- ✗ 성공률 — 시도 횟수, 성공 횟수 없음
- ✗ 사이클 타임 — 인간 운전자 대비 속도 없음
- ✗ 실패 사례 — 어떤 상황에서 실패했는지 없음
- ✗ 베이스라인 비교 — 인간 운전자, 기존 자동화 대비 없음
- ✗ 작업 정의 — "an earthmoving task"라고 단수로만. 무슨 작업인지 명시 없음
- ✗ 개입 여부 — 사람의 원격 감시·개입이 있었는지 없음
[!warning] "proof that the approach works"는 주장이지 증거가 아니다 영상 그리드가 성공 사례만 모은 것인지, 전체 시도인지 알 수 없다. 자율 로봇 분야에서 컷 편집된 데모 영상과 성공률 사이의 간극은 잘 알려진 문제다.
결론: 단안 카메라만으로 굴착 상태가 충분히 관측되는가라는 질문은 이 글로 해소되지 않는다. 다만 아래 3장의 채용 공고 증거는 저자들 자신도 그렇게 보지 않는다는 정황을 보여준다.
3. ★ 채용 공고에서 읽히는 실제 로드맵
[!important] 이 글에서 가장 값진 정보는 본문이 아니라
/hiring페이지에 있다 블로그 본문은 단안 카메라만 쓴다고 했으나, 하드웨어 채용 요건에는 전혀 다른 스택이 적혀 있다.
Hardware 포지션 요구사항
| 항목 | 내용 |
|---|---|
| 센서 스위트 | Cameras, LiDAR, Radar, GNSS, and IMUs |
| 고속 인터페이스 | GMSL, Ethernet, RS-422 중 최소 2종 |
| 버스 시스템 | CAN, LIN, J1939, FlexRay |
| 네트워킹 | Automotive Ethernet |
| 임베디드 | SPI, I2C, TCP/UDP, Linux |
| 플랫폼 | NVIDIA Xavier 또는 Orin 기반 |
[!success] 앞 노트 7.2 비판에 대한 간접 응답 LiDAR·GNSS·IMU를 명시적으로 요구한다. 즉 단안 온리는 현재 상태이지 종착점이 아니다. 계량적 깊이(LiDAR)와 절대 측위(GNSS)와 고유수용성(IMU)이 로드맵에 들어와 있다. 다만 이건 채용 요건이라 통상 광범위하게 쓰이므로, "이미 쓰고 있다"가 아니라 "쓸 계획이거나 쓰고 싶다" 로 읽는 게 정확하다.
[!note] 컴퓨트 불일치 블로그 본문은 Jetson Thor를 썼다고 하는데, 채용 공고는 Xavier/Orin(구세대·저가)을 명시한다. 데모기는 최고급으로, 양산 배포기는 훨씬 낮은 등급을 타깃한다는 뜻으로 보인다. 60대 규모 플릿에 Thor를 다는 건 단가가 안 맞는다.
Model Experts 포지션 요구사항
- behavior cloning 및 강화학습 모델 설계·학습·평가·배포
- 데이터 수집·라벨링·큐레이션 파이프라인 구축·유지
- open-loop / 시뮬레이션 / 실세계 3종 환경에 대한 성능 지표·평가 프레임워크 개발
- 시뮬레이션·시스템·인프라 팀과 협업해 ML 모델을 프로덕션 자율 시스템에 투입
- diffusion policy, VLA 및 인접 접근 경험
- ICRA, IROS, CoRL, CVPR, ECCV, ICCV, ICML, NeurIPS 급 논문 실적
[!tip] 여기서 읽히는 두 가지 1. 순수 모방학습(BC)만으로는 부족하다고 스스로 판단하고 있다 — RL과 시뮬레이션이 요건에 명시되어 있다. 블로그의 "운전자 시연을 따라 하면 된다" 서사보다 실제 계획은 훨씬 보수적이다 2. 평가 프레임워크를 이제 만들려 한다 — 정량 지표가 블로그에 없는 이유가 여기 있을 가능성이 크다. 아직 체계적 평가 체계가 없는 단계로 보인다
GTM / Data Acquisition 포지션
데이터 수집 하드웨어를 세상에 뿌리는 아웃바운드 시스템 구축이 핵심 업무. 데이터 확보가 병목이자 사업의 본체임을 회사가 명시적으로 인정하는 대목.
4. 평가
[!question] 사실이라면 놀라운 지점 - 2.5시간 시연으로 현장 자율 작업 — 사실이라면 데이터 효율이 놀랍다. 파운데이션 모델(π0.5) 사전학습 전이의 힘을 보여주는 사례가 된다. 통상 실세계 조작 정책은 수십~수백 시간을 요구한다 - 조명·장소 일반화 — "한 현장에서 수집해 전 현장 배포"가 성립한다면 π0.5의 시맨틱 일반화가 중장비 도메인에서도 작동한다는 뜻이다. 이 분야 기존 접근(현장별 캘리브레이션·측량 모델 의존)과 근본적으로 다른 성질 - 60대 규모 플릿 — 데이터 플라이휠이 실재한다. 이 분야에서 이 규모의 실작업 데이터 수집은 흔치 않다
[!caution] 그러나 - 검증 불가 — 위 세 가지 모두 자기 주장이며 뒷받침 데이터가 없다 - "2.5시간"의 정체 불명 — 2.5시간이 한 태스크의 시연 시간인지, π0.5 사전학습 + 대규모 현장 데이터 사전 파인튜닝 위에 얹은 마지막 어댑테이션 시간인지 구분되지 않는다. 후자일 가능성이 훨씬 높고, 그렇다면 "2.5시간"은 마케팅 수치에 가깝다 - 작업 등급 불명 — 굴착기의 "earthmoving"은 대충 흙 퍼서 옮기기부터 설계 고도 준수 관로 굴착까지 폭이 극단적으로 넓다. 어느 쪽인지 밝히지 않은 것이 이 글의 핵심 회피 지점 - 안전 논의 여전히 없음 — 1편에서 안전을 3대 장벽으로 지목했으나, 2편에서도 페일세이프·개입·인증 이야기가 전혀 없다. 실제 현장 배포를 이야기하면서 이 정도로 안전을 다루지 않는 건 이례적 - 불도저·스키드스티어로 확장 주장 — 4D 조이스틱 액션 공간은 굴착기 전용 설계다. 불도저(블레이드 리프트/틸트)와 스키드스티어(주행 + 로더)는 제어 축 구성이 전혀 다르다. 어떻게 통합했는지 설명 없음
5. 우리 관점에서의 시사점
[!question] 참고할 만한 지점 - 사업 모델이 기술보다 영리하다 — 하드웨어를 자기 비용으로 남의 기계에 붙이고, 그 대가로 데이터를 얻고, 자동화를 되판다. 데이터 확보 비용을 계약자에게 전가하지 않는 구조. 국내 건설기계 자동화 실증에서도 참고할 만한 접근 - "유사·일관 반복 작업"을 명시적으로 타깃 — 범용을 표방하면서도 실제 영업은 반복 작업에 한정한다. 현실적인 스코핑 - 평가 체계 부재가 곧 이 분야의 공백 — 중장비 자율화의 표준 벤치마크·공차 규격이 없다는 게 이들이 수치를 못 내놓는 이유이기도 하다. 2025 Advancements and challenges in earthmoving equipment automation using core technologies_요약에서 지적된 문제와 같은 맥락
[!abstract] 종합 판정 1편(기술)은 읽을 가치가 있고, 2편(이 글)은 기술 문서로서는 내용이 거의 없다. 다만
/hiring페이지가 본문보다 정보량이 많으며, LiDAR·GNSS·IMU·RL·시뮬레이션이 로드맵에 있다는 사실이 1편의 "단안 카메라 + 모방학습만으로 충분하다"는 서사와 상충한다. 회사의 실제 판단은 블로그보다 보수적이라고 보는 게 맞다.추적 가치: 중 — 정량 결과가 나오는 시점(논문 또는 제3자 실증)에 재평가할 것.
참고 링크
- 원문: https://labs.actor/research/excavator-in-the-wild
- 1편: https://labs.actor/research/vla-excavator
- 채용 페이지(위 3장 근거): https://labs.actor/hiring
- 배포 지도: https://labs.actor/deployments
관련 노트
- 2026 Actor Labs - A VLA Policy for an Excavator_요약 — 1편, 기술 내용은 전부 여기 있음
- Chelsea Finn The End of SinglePurpose Robots YC 강연 대화 정리 — π0.5 계열 모델의 일반화 메커니즘
- 2026 Towards Learning Boulder Excavation with Hydraulic Excavators_요약 — 정량 평가가 있는 대조군 (현장 40회, 70% 성공률)
- 2025 Advancements and challenges in earthmoving equipment automation using core technologies_요약 — 토공 자동화 평가 체계 공백 논의