2021 High-Accuracy Autonomous Excavation Of Free-Form Shapes

High-Accuracy Autonomous Excavation Of Free-Form Shapes

Dominic Jud, ETH Zürich (Dr. sc. ETH Zürich, 2021) Supervisor: Prof. Dr. Marco Hutter Co-examiners: Prof. Dr. Karsten Berns (TU Kaiserslautern), Dr. Sean Costello (Hexagon Technology Center GmbH) Funding: NCCR Digital Fabrication (Swiss National Science Foundation), Hexagon Geosystems, armasuisse Science and Technology


Abstract

건설 부문의 생산성은 지난 20년간 1%밖에 성장하지 않았다(세계 경제 평균 2.8% 대비). 이 논문은 굴착 작업의 자동화를 목표로 한다. 자동화를 통해 현장 재료 활용으로 지속가능성을 높이고, 로봇 공정으로 단순 직선뿐 아니라 자유곡면(free-form curved shapes)도 동일한 고정밀도로 굴착할 수 있음을 보인다.

핵심 성과: - 굴착 중 토양-버킷 상호작용력은 토질에 따라 크게 다름 → 엔드이펙터 force-torque 궤적 기반의 토양-독립적(soil-independent) 단일 굴착 사이클(single dig cycle) 정의 - 세계 최초 자율 보행 굴착기 HEAP (Hydraulic Excavator for an Autonomous Purpose) 구축 - 자유 곡면 트렌치(free-form trenches) 굴착 실험: 시뮬레이션과 실기계 동일 정확도 달성 - 드론 측량 + 설계(Docofossor/Rhino) + 제작(HEAP) 통합 디지털 공정으로 S자형 성토(s-curved embankment, 20m, 30m³) 고정밀 자율 시공


목차 구조

챕터 내용
1 Introduction
2 Autonomous Trenching In Simulation
3 HEAP - The Autonomous Walking Excavator
4 Free-Form Trenching With HEAP
5 Robotic Embankments
6 Conclusion and Outlook

약어 정리 (Notation)

약어 의미
DoF degrees of freedom
LiDAR light detection and ranging
ICP iterative closest point
LOAM LiDAR odometry and mapping
RTK real-time kinematic
IMU inertial measurement unit
GNSS Global Navigation Satellite System
ROS Robot Operating System
CAD computer-aided design
IF In-Situ Fabricator
ICM Integrated Control Module
PoA point of attack
LUCIE Lancaster University Computerised Intelligent Excavator
THOR Terraforming Heavy Outdoor Robot
ALS Autonomous Loading System
FEE fundamental earthmoving equations
SQP sequential quadratic program
SDF signed distance field

Chapter 1: Introduction

1.1 동기 및 배경

==> picture [Figure 1.1: 과거/현재/미래의 측량-설계-제작 프로세스 진화 다이어그램] intentionally omitted <==

1.2 State of the Art

자율 굴착기 역사: - LUCIE (1988, Lancaster University): 트렌칭 제어 - ALS (Carnegie Mellon): 최초의 외부 센서(레이저) 탑재, 트럭 적재용 대형 굴착 - THOR (TU Kaiserslautern): behavior-based 제어 - Australian Centre for Field Robotics: force+position 결합 1.5t 굴착기 - Built Robotics AX-162, ASI Robots: 산업계 자율 굴착기

보행 굴착기의 특징: - 4개 휠-다리 → wheeled-legged 모바일 매니퓰레이터 - 험지 이동성 + 굴착용 고 payload-to-weight ratio - 이 논문의 기반: Menzi Muck M545 보행 굴착기

굴착 자동화 세 가지 접근법: 1. 모든 밸브를 고성능 서보 밸브로 교체 2. 기존 메인 밸브에 전동 파일럿 스테이지 추가 3. 조이스틱 액추에이터 구동

1.3 논문의 기여 (Key Contributions)


Chapter 2: Autonomous Trenching In Simulation

관련 논문: Jud et al., Planning and Control for Autonomous Excavation, IEEE RA-L 2, 2151 (Oct. 2017)

2.1 핵심 아이디어

2.2 굴착기 제어 (Excavator Control)

2.2.1 굴착기 기구학 (Kinematics)

Menzi Muck M545의 5-DoF 암: $$\mathbf{q} = [\psi, \theta_1, \theta_2, x_{telescope}, \theta_3]^T \in \mathbb{R}^n, \mathbf{u} = \dot{\mathbf{q}} \in \mathbb{R}^n, n=5$$

작업 공간 좌표: $$\mathbf{r} = [x_t, z_t, \theta_t, \psi_t]^T \in \mathbb{R}^m, m=4$$

2.2.2 계층적 최적화 암 컨트롤러 (Hierarchical Optimization)

우선순위 (내림차순): 1. 운동 방정식 (EoM) 2. 실린더 force/torque 한계 3. 실린더 속도 한계 4. 실린더 위치 한계 5. 엔드이펙터 운동 6. 방향성 force manipulability

2.3 Force-Controlled 단일 굴착 사이클

3단계로 구성: 1. Penetration (관입): 버킷을 지면에 수직으로 관입 2. Drag (끌기): 지면을 따라 수평으로 끌어 버킷 채움 3. Close (닫기): 버킷 닫아 토사 확보 후 들어올림

==> picture [Figure 2.3: 굴착 단계별 force/torque 플롯] intentionally omitted <==

토양별 적응 동작: - 단단한 토양: 버킷이 깊이 관입 불가 → drag 방식으로 채움 - 부드러운 토양: 깊은 관입 → rotate/curl로 채움 (drag 최소화)

2.4 다중 굴착 사이클 계획

2.4.1 굴착 상태 기계 (Excavation State Machine)

반복적 플래너: 매 굴착 사이클 후 현재 지형과 목표 지형을 비교 → 다음 공격 지점(PoA) 결정

2.4.2 계획 단계 (Planning Step)

2D 트렌치용 공격 지점: $$\arg\max_{x_i, z_j} Z_{act}(x_i, z_j) \cdot S^+(x_i, z_j) \cdot \mu \cos(\alpha) x_i + \sin(\alpha) z_j$$

2.5 결과

시뮬레이션 트렌치 굴착 정확도:

트렌치 형태 평균 오차
곡선 바닥 (Curved Bottom) 0.035m
직선 구간 (Linear Segments) 0.044m

Chapter 3: HEAP - The Autonomous Walking Excavator

3.1 시스템 개요

기반 플랫폼: Menzi Muck M545 보행 굴착기 + Armano 상부 구조

==> picture [Figure 3.1: HEAP과 Armano 외관] intentionally omitted <==

3.2 시스템 기술

3.2.1 센서 구성 (Sensing)

센서 용도
Velodyne VLP-16 LiDAR (지붕) 환경 인식, 매핑
Robosense RS-Bpearl LiDAR (지붕) 근거리 인식
GNSS-RTK 절대 위치 측정
IMU 자세 추정
유압 실린더 센서 관절 상태 추정
관절 각도 센서 암 상태

3.2.4 암 액추에이션 (Arm Actuation) - 세 가지 방식

  1. 전동 파일럿 스테이지 (Electric Pilot Stage): 기존 밸브 활용, 비교적 낮은 force control 성능
  2. 액추에이터 조이스틱 (Actuated Joystick): 소형화, 운전자 입실 가능 유지, 더 나은 성능
  3. 고성능 서보 밸브 (High-Performance Servo Valves): 최고 성능, 약 1자릿수 더 나은 force control

==> picture [Figure 3.4: 세 가지 암 액추에이션 원리 비교] intentionally omitted <==

서보 밸브 성능이 시뮬레이션→실기계 전이에 핵심: force-torque 궤적을 변경 없이 그대로 적용 가능

3.3 휠-레그 로봇 상태 추정

4가지 잔차(residual) 기반 Extended Kalman Filter: 1. IMU 예측: 선형 가속도, 각속도 적분 2. GNSS 업데이트: RTK 절대 위치 3. 롤링 예측 (Rolling Prediction): 휠 운동학적 구속 4. Legged Odometry 업데이트: 다리 기구학 기반 오도메트리

실제 적용: IMU+GNSS 조합이 aggressive 운동에서 가장 우수 → 이 설정으로 배포

3.4 제어 (Control)

HEAP: 31 DoF (4다리 × 8 + 1암 × 7 = 32... 실질 제어 31)

세 개의 독립 컨트롤러:

==> picture [Figure 3.12: 암/샤시/구동 컨트롤러 블록 다이어그램] intentionally omitted <==

3.4.1 구동 컨트롤러 (Driving Controller) - 입력: 목표 속도, 조향각, 조향 모드 - 4가지 조향 모드: crab(게걸음), front-wheel, rear-wheel, four-wheel - Ackermann 조향 원리 기반

3.4.2 샤시 컨트롤러 (Chassis Controller) - flexion/extension 관절로 높이, roll, pitch 제어 - 력 최적화로 균등한 지면 접촉력 유지 - 경사도 100%에서도 안정적 작동 검증

3.4.3 암 컨트롤러 (Arm Controller)

역동역학 계층적 최적화 (Inverse Dynamic): 9개 우선순위 태스크 1. 운동 방정식 2. 펌프 유량 한계 3. 실린더 force 한계 4. 실린더 속도 한계 5. 실린더 위치 한계 6. 자가 충돌 회피 7. 엔드이펙터 방향 8. 엔드이펙터 위치 9. 관절 운동 감쇠

역기구학 계층적 최적화 (Inverse Kinematic): 7개 우선순위 태스크 (공중 이동용)

3.5 응용 사례

응용 내용
자율 굴착 자유 곡면 트렌치 및 성토
건식 돌담 자율 조립 4m 높이, 10m 길이 담장 (109개 돌, 평균 오차 0.128m)
자율 임업 작업 100m×30m 숲에서 나무 수확
반자율 원격조종 2차 세계대전 탄약 발굴, 낙석 청소

Chapter 4: Free-Form Trenching With HEAP

관련 논문: Jud et al., Autonomous Free-Form Trenching Using a Walking Excavator, IEEE RA-L 4, 3208 (Oct. 2019)

4.1 핵심 과제

4.2 굴착용 고도 매핑 (Elevation Mapping For Excavation)

두 가지 센서 융합: - Exteroceptive: 지붕 LiDAR (Velodyne VLP-16 + Robosense RS-Bpearl) - Proprioceptive: 버킷 엣지 위치 추적 (버킷이 토사 속에서 이동 → LiDAR 가림 문제 해결)

주요 필터링: - 버킷 아래 낙하 토사 제거 - 기계 자체를 hit하는 LiDAR 반사 제거

4.3 SQP 기반 스플라인 궤적 최적화

엔드이펙터의 terrain-collision-free 경로를 SQP로 계획: - 입력: 현재 고도 지도의 SDF (Signed Distance Field) - 출력: 공격 지점까지의 충돌 없는 궤적

4.4 암 제어

4.4.1 역기구학 제어 (IK Control): 공중 이동, 덤핑 동작 4.4.2 굴착 force 컨트롤러: 단일 굴착 사이클 (Ch.2와 동일, 시뮬레이션에서 변경 없이 이식)

4.5 자율 굴착 상태 기계 확장

실기계 환경에 맞게 추가 상태: - 버킷 조기 지면 접촉 - 목표 표면 미추적 - 임박한 자가 충돌

4.6 결과

트렌치 형태 HEAP 평균 오차 (참고: Vortex 시뮬레이션)
곡선 바닥 0.024m 0.035m
직선 구간 0.027m 0.044m

Chapter 5: Robotic Embankments

5.1 개요

드론 측량 + 조경 설계 + HEAP 굴착이 실시간으로 통합된 디지털 공정으로 자유 곡면 성토(embankment) 자율 시공.

==> picture [Figure 5.1: Drone Survey - Design - Fabrication 통합 시스템 블록 다이어그램] intentionally omitted <==

5.2 로보틱 조경 시스템 (Robotic Landscape System)

5.2.1 초기 측량 - 조경 매핑 드론

센서 패키지 (DJI M210 RTK 탑재): - Ouster OS1 LiDAR + IMU - RGB 카메라 - 멀티스펙트럴 카메라 - Jetson TX2 (데이터 수집/처리) - 3D 프린팅 프레임, 드론 전원 공급

==> picture [Figure 5.2: DJI M210 RTK에 장착된 센서 패키지] intentionally omitted <==

드론 비행 → 17백만 점 3D 포인트 클라우드 수집 → grid_map_pcl 패키지로 2.5D 고도 지도 변환

==> picture [Figure 5.3: 실험 현장의 3D 포인트 클라우드 및 2.5D 고도 지도] intentionally omitted <==

5.2.2 설계 환경 - Docofossor

==> picture [Figure 5.4: 드론 고도 지도에서 생성된 성토 설계 (cut/fill 표시)] intentionally omitted <==

5.2.3 제작 환경 - HEAP

단일 굴착 사이클 흐름 (Figure 5.5의 번호 순서): 1. WiFi로 설계 환경과 연결, 목표 고도 지도 + 설계 라인 수신 2. GNSS-RTK 기반 상태 추정으로 설계와 위치 정합 3. 차량 LiDAR로 2.5D 고도 지도 실시간 생성 4. 굴착 플래너가 다음 공격 지점 탐색 5. SQP로 terrain-collision-free 궤적 계획 → 공격/덤프 지점으로 이동 6. 단일 굴착 사이클 실행 (force control) 7. 덤프 지점 탐색 후 투기 8. 다음 공격 지점으로 드라이빙 9. Active 샤시 밸런싱 (굴착 중 비활성화로 기계 중량 활용)

==> picture [Figure 5.5: 단일 굴착-덤프 사이클 전체 흐름도] intentionally omitted <==

5.3 3D 성토 굴착 계획

구동 경로 (Driving Path): 설계 라인의 일정 거리 오프셋 → 모든 설계 지점이 암 도달 범위 내

작업 방향: 암이 설계 라인에 직교하도록 → 버킷 엣지가 성토 break line과 평행

==> picture [Figure 5.6: 설계 라인(점선)에서 유도된 구동 경로(파선)] intentionally omitted <== ==> picture [Figure 5.7: 명확한 break line을 위해 버킷 엣지가 설계 라인에 수직으로 작동] intentionally omitted <==

5.3.1 굴착 지점 플래너 (Excavation Point Planner)

오차 행렬: $$Z_e = Z_{act} - Z_{des}$$

선택 행렬 (임계값 이상 오차 셀만): $$S^+(x_i, y_j) = \begin{cases} 1, & \text{if } Z_e(x_i, y_j) > \theta^+ \ \text{NaN,} & \text{else} \end{cases}$$

다음 공격 지점 (진행 라인 정규화 포함): $$\arg\max_{x_i, y_i} S_{lb}(x_i, y_j) S^+(x_i, y_j) (Z_{act}(x_i, y_j) + \mu(\cos(\beta)x_i + \sin(\beta)y_i))$$

==> picture [Figure 5.8: 진행 라인과 biggest blob 기반 공격 지점 선택 시각화] intentionally omitted <==

5.3.2 덤프 지점 플래너 (Dump Point Planner)

음의 오차(fill 필요 셀) 선택: $$S^-(x_i, y_j) = \begin{cases} 1, & \text{if } Z_e(x_i, y_j) < \theta^- \ \text{NaN,} & \text{else} \end{cases}$$

덤프 지점 선택: $$\arg\min_{\tilde{x}i, y_i} S{lv}(x_i, y_j) S^-(x_i, y_j) (Z_{act}(x_i, y_j) + \mu d(x_i, y_j))$$

==> picture [Figure 5.9: 덤프 지점 선택 시각화] intentionally omitted <==

5.4 결과

5.4.1 S자 성토 (S-curved Embankment)

오차 결과: | 구간 | 평균 셀 오차 | |------|------------| | 북쪽 구간 (오목, 큰 반경) | 0.038m | | 전체 평균 | 0.056m |

==> picture [Figure 5.10: 완성된 S자 성토 상공 사진] intentionally omitted <== ==> picture [Figure 5.12: S자 성토 최종 고도 지도] intentionally omitted <== ==> picture [Figure 5.13: S자 성토 오차 지도 (yellow: 부족, dark blue: 과잉)] intentionally omitted <==

5.4.2 모서리 있는 이면 성토 (Two-faced Embankment with a Corner)

결과: - 평균 셀 오차: 0.032m - 선명한 모서리 + 매끄러운 표면 달성

==> picture [Figure 5.16: 완성된 이면 성토 사진] intentionally omitted <== ==> picture [Figure 5.17: 이면 성토 오차 지도 (평균 0.032m)] intentionally omitted <==

5.5 요약


Chapter 6: Conclusion and Outlook

6.1 결론

전체 굴착 오차 비교 (Table 6.1):

설계 Vortex 시뮬레이션 HEAP 실기계
Curved Bottom 트렌치 0.035m 0.024m
Linear Segments 트렌치 0.044m 0.027m
S-curve 성토 (오목 부분) - 0.038m
S-curve 성토 (전체) - 0.056m
이면 성토 (모서리) - 0.032m

6.2 향후 연구

  1. 생산성 향상: - 관절 수준 유압 제어에 학습 기반 방법 적용 (비선형 동특성 처리) - 굴착 플래너에 머신러닝 도입 (덤프 위치 결정 등 고수준 계획)

  2. 다중 기계 협업: - 동종/이종 기계 간 협업 문제 해결 - 인간-기계 협업 포함

  3. 상태 추정 개선: - 시각 오도메트리 추가 - GNSS + 잔차 기반 필터로 절대 위치 유지


핵심 인사이트 요약

[!tip] 연구의 핵심 메시지 1. Force control = soil-independent excavation: 위치 궤적 대신 force-torque 궤적으로 다양한 토양에 자동 적응 2. 서보 밸브가 핵심: 시뮬레이션-실기계 간 전이 없이 직접 이식 가능케 하는 요소 3. Proprioceptive + Exteroceptive 융합: 버킷 가림 문제를 극복하는 굴착 매핑 4. 디지털 통합 공정: 측량-설계-제작이 순차적이 아닌 실시간 피드백 루프로 연결

[!info] 원본 참조 그림/표/수식이 필요하면 원본 파일을 확인하세요: 2021 High-Accuracy Autonomous Excavation Of Free-Form Shapes