Baidu Research2024#012학습·RL·IL·VLA논문 PDF 기반 카드

ExACT: 행동 청킹 Transformer 기반 종단간 자율굴착기 시스템

ExACT: An End-to-End Autonomous Excavator System Using Action Chunking With Transformers

Liangliang Chen, Shiyu Jin, Haoyu Wang, Liangjun Zhang · arXiv:2405.05861

한줄 요약 — ExACT는 기존 인지–계획–제어 모듈을 분리하는 대신, 조건부 VAE와 Transformer로 멀티모달 관측에서 30스텝 행동 묶음을 만들고 시간 앙상블해 밸브 또는 관절 명령으로 실행한다. reach와 dig-dump-return은 모사했으나, 고주파 밸브 명령을 따라가지 못했고 실차 폐루프 안전성은 아직 입증되지 않았다.

1.연구 배경 및 동기

소수 시연으로 모듈식 자율굴착 체인을 종단간 정책으로 바꾸기

기존 자율굴착기는 인지·예측·계획·제어를 순차 실행하지만 작업 부하, 유압 지연, 밸브 데드존처럼 모델링하기 어려운 비선형성이 모듈 경계마다 누적된다. ExACT는 전방 영상·LiDAR 지형·관절 상태에서 밸브 또는 관절 명령까지 직접 매핑하는 데이터 기반 정책으로 이 사슬을 대체한다.

실험은 21.5톤 drive-by-wire 굴착기를 원격조작해 적은 완성 궤적을 모으고 Action Chunking with Transformers(ACT)로 미래 행동 묶음을 학습한다. 안전 때문에 정책을 실차 폐루프로 시험하지 않고 기록 센서와 밸브–관절속도 선형모델을 결합한 오프라인 검증으로 제한했다.

원문 Figure 1, PDF 1쪽
원문 Figure 1 · PDF p.1 — Fig. 1: Framework of ExACT
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

모든 작업은 swing·boom·stick·bucket의 4차원 관절 위치와 480×640×3 전방 영상을 입력받는다. dig-dump 계열은 원시 LiDAR 고도지도에서 굴착·덤핑 구역을 잘라낸 두 480×640×3 지역지도를 더한다. 영상은 작업기와 주변 외관, 고도지도는 두 작업영역의 3D 형상, 관절 상태는 현재 자세를 제공한다.

ACT의 conditional VAE는 사람 시연의 잡음과 행동 변이를 잠재표현으로 흡수하고 Transformer가 행동 묶음을 예측한다. 같은 실행시각을 가리키는 여러 chunk 예측은 지수 가중 temporal ensembling으로 결합한다. reach와 dig-dump는 밸브 상태, 더 긴 dig-dump-return은 관절 위치를 출력한다.

처리 파이프라인

1

실차 시연 수집

휴대형 RC로 21.5톤 굴착기의 밸브를 조작하며 10 Hz로 센서와 명령을 동기 수집한다.

2

멀티모달 관측 구성

모든 작업에 4관절 위치·전방 영상을 넣고 dig-dump에는 굴착·덤핑 LiDAR 지역 고도지도를 추가한다.

3

행동 묶음 생성

conditional VAE와 Transformer가 현재 관측에서 미래 30스텝 밸브 또는 관절 위치 시퀀스를 예측한다.

4

Temporal ensembling

매 시점 새 chunk를 만들고 동일 미래시각의 후보 명령을 지수 가중 결합해 실행을 평활화한다.

5

밸브–관절속도 모델

2,661개 실차 쌍에서 swing·boom·stick·bucket 선형식을 적합한다. 기본 밸브값 8190은 속도 0에 대응한다.

6

기록 관측 테스트

작업별 한 에피소드를 테스트로 떼고 첫 관절상태만 실측으로 초기화한다. 이후 상태는 예측 행동으로 전개한다.

원문 수식과 의미

swing 밸브–속도 모델

q˙swing=−2.8227×10−6Vswing+2.3118×10−2\dot{q}_{swing}=-2.8227\times10^{-6}V_{swing}+2.3118\times10^{-2}

논문 식 (1a)의 오프라인 선형 근사다.

boom 밸브–속도 모델

q˙boom=1.3736×10−6Vboom−1.1250×10−2\dot{q}_{boom}=1.3736\times10^{-6}V_{boom}-1.1250\times10^{-2}

논문 식 (1b)의 boom 근사다.

stick 밸브–속도 모델

q˙stick=−2.4656×10−6Vstick+2.0193×10−2\dot{q}_{stick}=-2.4656\times10^{-6}V_{stick}+2.0193\times10^{-2}

논문 식 (1c)의 stick 근사다.

bucket 밸브–속도 모델

q˙bucket=5.8151×10−6Vbucket−4.7625×10−2\dot{q}_{bucket}=5.8151\times10^{-6}V_{bucket}-4.7625\times10^{-2}

논문 식 (1d)이며 실제 부하·지연·데드존을 완전히 재현하지 않는다.

원문 Figure 2, PDF 2쪽
원문 Figure 2 · PDF p.2 — Fig. 2: Examples of the front camera image and LiDAR elevation maps. (a) Raw LiDAR elevation map (visualized in RViz) from which the digging (red box) and dumping (green box) LiDAR elevation maps are cropped; (b) Preprocessed LiDAR elevation map of the digging zone; (c) Preprocessed LiDAR elevation map of the dumping zone; (d) front camera image.

3.핵심 기술

ACT action chunking과 조건부 생성

단일 행동 대신 미래 시퀀스를 예측해 짧은 구간의 굴착 시간구조를 학습하고 compounding error를 줄인다. conditional VAE는 동일 관측에서 달라지는 사람 조작을 하나의 평균으로 뭉개지 않고 잠재변수로 표현한다.

  • chunk size 30
  • KL divergence weight 10
  • Transformer 조건부 시퀀스 예측
  • 학습률 1.0×10^-5, 30,000 steps

LiDAR 지역 고도지도의 작업 조건화

전방 RGB만으로 알기 어려운 굴착·덤핑 구역의 깊이와 형상을 LiDAR로 제공한다. 전체 고도지도에서 두 지역을 따로 잘라 정책이 어디서 퍼고 어디에 버릴지 3D 기하로 조건화한다.

  • 굴착·덤핑 region 별도 crop
  • 각 480×640×3
  • reach에는 고도지도 미사용
  • Fig. 2에 원시·전처리 지도 제시

밸브 직접제어와 관절위치 제어

reach와 dig-dump는 네 유압 밸브를 직접 출력하지만 dig-dump는 고주파 성분을 따라가지 못해 팔이 둔해지고 버킷 날이 과도하게 이동할 수 있었다. dig-dump-return은 관절 위치 제어로 바꿔 굴착·덤핑·swing·복귀 시퀀스를 완수했다.

  • 밸브 대상 swing·boom·stick·bucket
  • 기본값 8190에서 속도 0
  • dig-dump-return은 다음 굴착 준비까지 포함
  • 제어변수 변경은 동일조건 절제가 아님

중첩 예측의 시간 앙상블

action chunking은 같은 실행시각에 여러 예측을 만든다. ExACT는 이를 지수 가중으로 결합해 단발 오류와 시연 불연속을 줄인다. 모든 테스트에 적용했지만 밸브 고주파 성분 자체를 복원하는 해결책은 아니다.

  • 매 timestep 새 chunk
  • 동일 시각 예측 결합
  • 전 작업 테스트 적용
  • 평활화와 동특성 복원은 구분
원문 Figure 3, PDF 3쪽
원문 Figure 3 · PDF p.3 — Fig. 3: Test performance of the task reach (valve state control)
원문 Figure 4, PDF 3쪽
원문 Figure 4 · PDF p.3 — Fig. 4: Ground truth and predicted actions of the tasks (a) dig dump and (b) dig dump return

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

원문 Figure 5, PDF 4쪽
원문 Figure 5 · PDF p.4 — Fig. 5: Front camera images and bucket trajectory during the testing of the task dig dump return (joint position control)

핵심 결과 해석

reach는 8개 시연 중 7개를 학습에 사용해 버킷을 표적 콘과 수평 정렬한 뒤 수직 하강하는 순서를 재현했다. 예측 밸브 상태가 기록 ground truth와 대체로 맞고 버킷 궤적도 올바른 도달 행동을 보여, 단순 작업에서는 선형 밸브–속도 모델이 오프라인 전개에 쓸 수 있음을 확인했다.

dig-dump는 11개 학습 에피소드에도 밸브 시연의 고주파 성분을 충분히 배우지 못했다. 밸브가 관절속도를 직접 정하므로 평활화된 예측은 팔을 둔하게 하고 버킷 날을 필요 이상 이동시킬 수 있다. 논문은 더 많은 시연과 고주파 학습을 후속 과제로 남겼다.

dig-dump-return은 관절 위치를 출력하자 굴착, 덤핑, cabin swing, 다음 굴착 위치 복귀까지 기록 관측 시뮬레이터에서 완수했다. 그러나 수치 오차, 성공률, 토량, 사이클타임, 실차 안전성은 제시하지 않아 가능성 입증 수준이다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
reach 데이터8 episodes, 평균 180.5 timesteps1개 테스트, 나머지 학습PDF p.3
dig-dump 데이터12 episodes, 평균 361.0 timesteps1개 테스트, 나머지 학습PDF p.3
dig-dump-return 데이터12 episodes, 평균 397.8 timesteps1개 테스트, 나머지 학습PDF p.3
데이터 주파수10 Hz실차 원격조작 수집PDF p.3
선형모델 데이터2,661 pairs4관절 밸브–속도 적합PDF p.3
행동 묶음30 stepsACT chunk sizePDF p.3
학습 설정30,000 steps, learning rate 1.0×10^-5표 IIPDF p.3
KL 가중치10conditional VAEPDF p.3
실패 사례와 경계조건

5.한계 및 향후 연구

현재 한계

  • 실차 폐루프가 아니라 기록 관측과 선형모델 기반 오프라인 시뮬레이션에 한정된다.
  • 작업당 8~12개 시연뿐이며 다른 토질·장비·날씨에 대한 일반화 근거가 없다.
  • dig-dump 밸브 직접제어는 고주파 명령을 재현하지 못했다.
  • 충돌회피, 힘·압력 제한, 작업공간 제약 같은 안전 계층이 없다.
  • 성공률, 궤적 RMSE, 토량, 사이클타임이 보고되지 않았다.

향후 연구

  • 부하·지연·데드존·관절결합을 포함한 동역학 또는 residual 모델로 사전검증 충실도를 높인다.
  • 고주파 밸브 성분을 보존하는 표현과 더 다양한 시연으로 dig-dump 직접제어를 개선한다.
  • 안전 감시와 행동 제한을 결합해 실차에서 단계적 폐루프 시험을 수행한다.
  • 토질·작업영역·기종을 바꿔 성공률, 궤적오차, 적재량, 사이클타임을 평가한다.

6.한마디로 정리

핵심 방법은?

카메라·관절 상태와 LiDAR 고도지도를 ACT에 넣어 30스텝 행동을 만들고 temporal ensembling으로 밸브 또는 관절 명령을 평활화한다.

핵심 결과는?

소수 시연으로 reach와 관절위치 기반 dig-dump-return을 모사했지만 밸브 기반 dig-dump는 고주파 명령 재현에 실패했다.

한계는?

실차 폐루프와 정량 성능이 없고 선형 동역학·기록 관측에 의존해 종단간 굴착의 초기 가능성 검증에 머문다.

#학습·RL·IL·VLA#시스템통합·현장실증#제어·MPC#ACT#conditional VAE#Transformer#action chunking#temporal ensembling#모방학습

나의 의견 / 우리 연구와의 연관성

ExACT는 Baidu AES의 명시적 지형인식·작업계획을 멀티모달 정책으로 압축하려는 전환점이다. action chunk는 굴착처럼 수초에 걸쳐 순서가 강한 접촉 작업에 적합하고, 기존 AES 고도지도를 학습정책 입력으로 재사용한다.

필드로봇에서는 안전 계층 없는 대체재보다 기존 계획기의 행동 prior로 쓰는 편이 근거에 맞다. 압력·접촉력 피드백, 작업공간 제약, 비상정지와 폐루프 재계획을 별도 보장하고 실제 행동이 만든 다음 관측으로 검증해야 한다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거