Technische Universität Kaiserslautern, Robotics Research Lab2016#075시스템통합·현장실증박사학위논문

미래 지형 조성: 굴착기 자율 랜드스케이핑 제어 아키텍처

Shaping the Future - A Control Architecture for Autonomous Landscaping with an Excavator

Daniel Schmidt · Technische Universität Kaiserslautern doctoral dissertation, ISBN 978-3-8439-2816-8

한줄 요약 — 정확한 토양-장비 통합모델 대신 숙련 운전자의 반복 의사결정을 계층형 상태기계와 모듈형 문제해결기로 옮기고, 표면 격자 평가·타원형 굴착·행동 기반 자유운동·역기구학을 연결해 한 아키텍처로 대량굴착부터 임의 지표면 성형까지 다루며 여러 작업에 같은 모듈을 재사용한 박사학위 연구다.

1.연구 배경 및 동기

변하는 토양과 불완전한 센싱 속에서 반복 지형 조성을 자동화하기

대량굴착, 트렌칭, 사면 조성, 표면 성형은 모두 굴착·운반·덤핑·복귀를 반복하지만 성공 기준은 서로 다르다. 대량굴착은 단위시간당 이동 토량과 버킷 충전량이 중요하고, 트렌칭과 랜드스케이핑은 설계면을 넘겨 파지 않는 정밀도가 핵심이다. 실제 건설현장은 토질·기상·지지면·장애물·장비 자세가 계속 달라지고 센서 정보도 불완전하므로, 산업용 로봇처럼 환경과 동역학을 완전하게 모델링해 미리 정한 궤적을 반복하는 방식은 적용하기 어렵다. 저자는 이 문제를 단일 굴착 동작이 아니라 현재 표면을 목표 표면으로 바꾸는 장기 순환 작업의 제어 문제로 정의한다.

기존 자율굴착 프로젝트는 대량굴착이나 단순 트렌치처럼 좁은 작업에 특화됐고, 저수준 스크립트·퍼지제어·신경망이 관절공간 명령을 직접 만드는 경우가 많았다. 이런 방식은 특정 장비와 시나리오에서는 동작하지만 버킷의 3차원 자세를 명시적으로 계획하거나 목표 표면, 공간 제약, 품질 제약을 함께 표현하기 어렵다. 특히 토양 물성이 변할 때 모든 힘과 장비 동역학을 충분히 정확하게 모델링하고 실시간으로 식별하는 것은 계산·센싱 양쪽에서 비현실적이라고 본다.

논문은 이 난점을 역방향으로 푼다. 숙련 운전자가 환경을 관찰하고 작업을 단계로 나누며, 매 사이클마다 굴착점·덤핑점·궤적을 수정하는 전략을 추출한 뒤 이를 상위 순환 제어와 하위 의사결정·실행 모듈에 이식한다. 목표는 한 번의 굴착을 최적화하는 것이 아니라 교란과 운용 제약을 받으면서도 대량굴착, 트럭 적재, 높이 평탄화, 트렌칭, 사면과 복합 표면 성형을 같은 재사용 가능한 아키텍처로 수행하는 것이다.

원문 Figure 1.1, PDF 13쪽
원문 Figure 1.1 · PDF p.13 — Figure 1.1: Main question of the mass excavation task: How can the material be transported from the pile into the dumping area or the truck as fast as possible?
원문 Figure 1.3, PDF 14쪽
원문 Figure 1.3 · PDF p.14 — Figure 1.3: Main question of the landscaping task: How can the current surface be transformed into the desired surface?
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

전체 구조는 환경 지식, 전역 의사결정, 이동, 지역 굴착, 안전, 하드웨어 추상화의 층으로 나뉜다. 일반 지식에는 장비 기구학·동역학·센서 불확실성을, 전역 지식에는 공사장 지도와 목표 표면·주행 가능 영역을, 지역 지식에는 실시간으로 갱신되는 주변 표면과 트럭·장애물 정보를 둔다. 전역 FSM은 목표면 달성 여부를 검사하고 필요하면 장비 위치를 옮긴 뒤 지역 굴착을 호출한다. 지역 FSM은 Swinging Back, Digging, Swinging, Dumping을 반복하며 매 사이클 최신 환경정보로 굴착점과 덤핑점을 다시 선택한다.

의사결정 방식은 문제 성격에 따라 숙고형, 반응형, 혼합형으로 구분된다. 장비 작업공간, 다음 설치 위치, A* 이동경로, 굴착·덤핑 셀 평가는 사전에 구조화된 지도와 제약을 쓰는 숙고형 모듈이다. 반면 토사가 붕괴하거나 장애물이 나타날 수 있는 자유공간 버킷 이동은 각 TCP 축의 행동 모듈을 병렬 결합해 연속적으로 수정한다. 상위 모듈은 장비 독립적인 TCP 경로만 출력하고, 수치 역기구학과 관절 제어를 포함한 하드웨어 추상화층이 이를 실제 굴착기의 가능한 관절 명령으로 바꾼다.

처리 파이프라인

1

환경과 목표 표면 구성

공사장 전역 지도, 현재 표면, 설계 목표면, 이동 가능 영역, 장애물과 토질 정보를 일반·전역·지역 지식으로 분리한다. 지역 표면은 좌우 평면 레이저 스캐너의 점군을 합치고 필터링해 2차원 높이 격자로 갱신하며, 트럭 적재함 자세도 별도 인지 모듈에서 제공받는다.

2

전역 실행 사이클

Global Goal Surface 상태에서 전체 설계면 달성 여부를 판단하고, 미달성 영역이 현재 작업공간 밖이면 Displacement를, 안이면 Excavation을 실행한다. 작업이 끝날 때까지 이 상태 전이를 반복하므로 장시간 과업을 짧은 지역 문제로 분해할 수 있다.

3

다음 설치 위치와 이동

주행 가능성, 출구 확보, 트럭 동선, 장비 작업반경을 격자 평가에 반영해 다음 설치 자세를 고른다. 확장 A*는 굴착기 기구학과 다중 해상도 탐색을 이용해 대규모 공사장에서도 계산량을 줄이고, 경로추종 제어기가 전진·후진 이동을 실행한다.

4

굴착점·덤핑점 평가

현재 표면과 목표 표면의 차이, 버킷 도달성, 장비와의 거리, 경계, 제거 가능한 체적, 트럭 적재함 내부 분포 등을 셀별 평가함수로 결합한다. 최고 점수 셀의 중심을 다음 굴착 또는 덤핑 자세로 선택하며, 새 스캔이 들어오면 평가를 다시 수행한다.

5

제약형 타원 굴착 궤적

버킷 진입각, 목표 제거 깊이, 인출각, 토질에 따른 레이크 각을 소수의 파라미터로 표현하는 두 타원 기반 궤적을 만든다. 궤적이 설계면을 넘지 않도록 깊이를 제한하고, 경질 토양에서는 표면 긁기, 느슨한 토양에서는 더 깊은 삽입으로 전략을 조정한다.

6

행동 기반 자유공간 이동

굴착 후 운반·덤핑·복귀 구간은 높이, 길이, 방위, 롤, 피치 등 TCP 축별 PID 행동과 융합 노드로 생성한다. 모든 축을 동시에 조정해 숙련 운전자의 원호형 스윙과 유사한 움직임을 만들고, 새로운 장애물이나 표면 변화가 생기면 사전 경로 전체를 다시 만들지 않고 명령을 반응적으로 수정한다.

7

역기구학과 안전 추상화

관절별 행동이 후보 각도를 조금씩 바꾸고 정기구학 결과가 목표 TCP에 가까워지는지를 평가해 수치적으로 관절 구성을 구한다. 기체·붐·운전실과 외부 객체는 원통 좌표계 옥트리에 저장하고 watchdog 행동이 위험 방향의 관절 움직임을 부분 또는 완전 억제한다.

8

사이클 평가와 반복

덤핑 뒤 복귀하며 새 표면을 스캔하고 목표면과의 차이를 다시 평가한다. 허용 높이 오차 또는 남은 토량 기준을 만족하면 지역 작업을 종료하고, 아니면 갱신된 굴착점으로 다음 사이클을 시작한다.

원문 수식과 의미

원문 Figure 4.5, PDF 93쪽
원문 Figure 4.5 · PDF p.93 — Figure 4.5: Global execution cycle of the whole excavation operation. Yellow boxes stand for an interaction state with a module from the environment part of the system taking the decision. Red boxes represent the activation of further decomposable or pure action parts.
원문 Figure 4.8, PDF 95쪽
원문 Figure 4.8 · PDF p.95 — Figure 4.8: Extended version of the initial state machine including the basic excavation cycle consisting of the four states Swinging Back, Digging, Swinging, and Dumping.

3.핵심 기술

계층형 순환 FSM과 전문가 전략 전이

논문의 중심은 하나의 거대한 최적화기가 아니라 반복 작업을 계층적으로 쪼개는 제어 아키텍처다. 최상위에는 목표 표면 확인, 장비 이동, 지역 굴착이 있고, 지역 굴착 아래에는 복귀·굴착·운반·덤핑이 중첩된다. 각 상태는 특정 문제해결기를 호출하고 종료 조건이 명시돼 있어 새로운 센서나 계획기를 해당 상태에 교체할 수 있다.

이 구조는 숙련자의 행동을 단순 궤적 복제로 보지 않는다. 전문가는 표면 상태가 바뀔 때 굴착점을 다시 고르고, 버킷을 먼저 안전한 운반 높이로 만든 뒤 몸체를 돌리며, 트럭 적재상태에 따라 덤핑 위치를 바꾼다. 논문은 이런 의사결정 순서를 상태와 전이로, 세부 움직임을 모듈형 계획기로 분리해 재현한다.

  • 전역 표면 성형과 지역 굴착 사이클을 서로 다른 시간척도로 제어한다.
  • 상태마다 숙고형·반응형·혼합형 해법을 선택해 전체 시스템을 단일 계획 패러다임에 묶지 않는다.
  • FSM 종료조건과 환경 갱신을 결합해 교란 뒤에도 다음 사이클에서 작업계획을 수정한다.

격자 평가 기반 굴착·덤핑 의사결정

현재 높이장과 목표 높이장의 차이를 중심으로 도달성, 거리, 경계, 제거 체적을 셀별로 점수화한다. 이 방식은 토사 더미의 완전한 연속체 모델을 요구하지 않고도 어디를 먼저 파야 목표면에 가까워지는지를 계산할 수 있다. 덤핑에는 트럭 적재함의 채움 분포와 경계 안전거리를 반영해 한 지점에 재료가 몰리는 것을 줄인다.

  • 굴착점은 목표면 위에 남은 재료가 많고 장비가 안정적으로 도달할 수 있는 셀을 선호한다.
  • 평가함수는 새 작업이나 센서가 추가될 때 별도 항으로 확장할 수 있다.
  • 트렌치에서는 버킷 폭과 측벽 보존을 별도 평가해야 한다는 실패 분석까지 제시한다.

타원형 접촉 궤적과 반응형 비접촉 궤적의 분리

토양과 접촉하는 구간은 힘과 설계면 침범 위험이 커서 기하학적으로 제약된 타원 궤적을 사용한다. 반대로 공중 이동은 정밀한 토양 모델보다 충돌 회피와 동시 관절운동이 중요하므로 행동 기반 제어를 사용한다. 접촉 여부에 따라 계획 표현을 바꾸는 것이 모델 불확실성과 실시간 적응을 절충하는 핵심이다.

덤핑 행동은 길이·높이·버킷 피치를 병렬 조정하고, 복귀 동작도 각 축 행동을 융합한다. 결과적으로 실험에서 자율 궤적이 숙련 운전자의 원호형 운반·덤핑 궤적과 유사한 형태를 보였다.

  • 진입각과 레이크 각을 분리해 토양 저항과 충전량을 조절한다.
  • 목표 높이장 아래로 버킷 경로가 내려가지 않도록 깊이를 제한한다.
  • 자유운동은 온라인 환경 변화에 반응하고 관절공간이 아닌 TCP 공간에서 명령한다.

장비 독립 하드웨어 추상화와 능동 안전

상위 아키텍처가 장비 모델과 직접 결합되지 않도록 TCP 자세와 주행경로를 공통 인터페이스로 사용한다. 수치 역기구학이 여러 자유도의 굴착기 관절을 조정하고, 기구학이 다른 장비에는 추상화층만 교체하는 재사용을 의도한다. 원통형 옥트리와 관절별 watchdog은 가까운 장애물 방향의 움직임을 억제해 반응형 안전층을 구성한다.

  • 목표 위치와 방향의 중요도를 관절별로 다르게 둘 수 있다.
  • 운전실·붐·차체 같은 자기 형상과 외부·가상 장애물을 같은 공간 구조에서 다룬다.
  • 실차에서는 전방위 환경인지와 동적 사람 검출이 부족해 안전층 전체를 운용하지 못했다.
원문 Figure 5.20, PDF 127쪽
원문 Figure 5.20 · PDF p.127 — Figure 5.20: Temperature visualization of the current (a), desired (b), and fully rated (f) surface maps. Figures (c), (d), and (e) show the result of the pure volume, distance, and edge rating functions. The warmer the colors are, the higher is the cell rated.
원문 Figure 5.23, PDF 129쪽
원문 Figure 5.23 · PDF p.129 — Figure 5.23: Visualization of the excavation trajectory consisting of two ellipses around ⃗e1 and ⃗e3, and an intermediate dragging line from ⃗q to ⃗r to. The planned trajectory from the start pose to the final pose is visualized in red with intermediate bucket poses in blue.
원문 Figure 5.32, PDF 141쪽
원문 Figure 5.32 · PDF p.141 — Figure 5.32: Structure of the DumpMaterial group containing the DumpAtPoint behavior con- trolling three Adjust- behaviors for a parallel Height, Length, and Pitch angle adjustment.
원문 Figure 5.33, PDF 141쪽
원문 Figure 5.33 · PDF p.141 — Figure 5.33: Side view of the dump trajectory of the DumpMaterial behav- ior resulting from three behaviors work- ing in parallel.

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

원문 Figure 6.1, PDF 154쪽
원문 Figure 6.1 · PDF p.154 — Figure 6.1: Picture of the excavator test platform, including the technical terms for machine elements. It was delivered as a standard 18 t wheeled excavator EW/180B machine produced by VOLVO Construction Equipment. Next to it there is the truck whose truck bed is to be loaded.
원문 Figure 6.4, PDF 157쪽
원문 Figure 6.4 · PDF p.157 — Figure 6.4: Screenshot of the simulation environment including the complex model of the excavator, a dumping truck, and a simulated material pile for excavation.
원문 Figure 6.16, PDF 170쪽
원문 Figure 6.16 · PDF p.170 — Figure 6.16 shows the initial piles of the different truck loading scenarios executed within the simulation environment. The task starts with a surface scan in order to initially determine the pile and the truck position within the collected three-dimensional distance data. This adds some extra time to the whole operation.

핵심 결과 해석

시뮬레이션에서는 몸체 회전이 없는 궤적이 0.4 m/s에서도 대체로 10 cm 이하 오차를 유지했고, 몸체 회전이 포함되면 약 0.2 m/s 이하가 필요했다. 실차는 몸체 관절의 낮은 해상도와 서로 다른 관절 지연 때문에 오차가 크게 늘었다. 0도 근방에서도 약 5도의 몸체 편차가 TCP에 약 0.4 m 오차를 만들었으며, 정밀 작업은 몸체 회전이 없을 때 0.1 m/s 이하, 회전할 때 0.05 m/s 이하로 감속해야 했다. 따라서 아키텍처의 논리적 타당성과 별개로 저수준 유압 제어 품질이 생산성의 직접적인 병목임을 보였다.

대량굴착 시뮬레이션의 평균 사이클은 약 27초로 숙련자 27.93초와 비슷했고, 계산상 162 m³/h를 이동했다. 재배치·트럭 대기·단단한 재료의 재굴착을 반영한 보수적 3배 시간계수를 적용해도 54 m³/h로 추정됐다. 실차 자율 적재는 평균 85.048~87.506초로 시뮬레이션보다 약 세 배 느렸지만 네 시나리오 모두 더미를 거의 제거했다. 평탄화는 시뮬레이션에서 10 cm 경계 안에 들었으나 실차에서는 제어·인지 오차가 합쳐져 약 0.25 m였다. 트렌치·사면·복합 표면은 시뮬레이션에서 목표 형상을 만들었지만 측벽 폭, 사면-평면 경계 롤각, 복셀 토사모델의 비현실성이 남았다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
실험 플랫폼 질량18 tVolvo EW/180B 휠 굴착기PDF p.154
숙련 운전자 평균 적재 사이클27.93 s약 20 m³ 더미를 13사이클, 총 6분 3초에 적재PDF p.168
시뮬레이션 자율 적재 평균 사이클26.724~27.901 s15.1~30.43 m³ 네 더미 시나리오PDF p.171
시뮬레이션 계산 생산량162 m³/h평균 0.045 m³/s의 재료 이동률PDF p.171
보수적 지연 반영 생산량54 m³/h재배치·트럭 대기·재굴착을 고려해 시간에 3배 계수 적용PDF p.171
실차 자율 적재 평균 사이클85.048~87.506 s자갈·토양 네 실차 시나리오PDF p.173
시뮬레이션 평탄화 오차10 cm 미만1.0·0.75·0.50·0.25 m 목표 평면PDF p.178
실차 평탄화 오차약 0.25 m제어 정밀도와 환경인지 측정 불확실성이 결합된 실제 작업PDF p.179
실패 사례와 경계조건
원문 Figure 6.17, PDF 172쪽
원문 Figure 6.17 · PDF p.172 — Figure 6.17: The remaining piles of the four removal scenarios (a), (b), (c), and (d).
원문 Figure 6.19, PDF 174쪽
원문 Figure 6.19 · PDF p.174 — Figure 6.19: The remainders of the four pile removal mass excavation scenarios (a), (b), (c), and (d) marked by red boxes.
원문 Figure 6.23, PDF 178쪽
원문 Figure 6.23 · PDF p.178 — Figure 6.23: The results of the four horizontal leveling scenarios reducing the pile to different heights executed inside the simulation environment.
원문 Figure 6.25, PDF 180쪽
원문 Figure 6.25 · PDF p.180 — Figure 6.25: The results of the four horizontal leveling scenarios for different piles in reality (a), (b), (c), and (d), marked by red boxes.
원문 Figure 6.32, PDF 183쪽
원문 Figure 6.32 · PDF p.183 — Figure 6.32: Resulting piles of the complex shaping operation for scenarios I (a) and II (b).

5.한계 및 향후 연구

현재 한계

  • 실차 유압 폐루프 제어와 몸체 관절 센서 정밀도가 낮아 시뮬레이션 대비 속도를 절반 또는 3분의 1 이하로 줄여야 했다.
  • 복셀 토사는 접촉한 부피를 바로 제거하므로 토양의 전단, 붕괴, 압밀, 버킷 충전 불완전성을 재현하지 못한다.
  • 두 평면 레이저 스캐너만으로는 주행 중 정밀 측위와 360도 동적 장애물 인지가 불가능했다.
  • 사람·장비 검출이 통합되지 않아 제안한 능동 충돌회피를 실차 안전보증으로 사용할 수 없었다.
  • 트렌칭·사면·복합 형상의 상당 부분이 시뮬레이션에 한정돼 실제 토양에서의 일반성이 검증되지 않았다.
  • 평가함수와 행동·제어 파라미터를 해당 굴착기에 수작업으로 맞춰 다른 장비와 토질에 즉시 이식하기 어렵다.

향후 연구

  • 유압 동역학 모델과 자동 제어기 튜닝을 결합해 높은 속도에서도 TCP 정밀도를 유지한다.
  • 운용 중 학습으로 굴착 속도, 토질별 궤적, 격자 평가 가중치를 자동 조정한다.
  • 텍스처 카메라·3D LiDAR와 사람·동적 객체 인식을 통합해 능동 안전층을 실차에 완성한다.
  • SLAM·DGPS·지역 기준점을 융합해 이동 중에도 센티미터급 전역·지역 측위를 제공한다.
  • 휠로더·지게차·드릴 등 다른 순환 장비에 하드웨어 추상화층을 구현해 아키텍처의 범용성을 검증한다.
  • 입자 또는 연속체 기반 토사모델과 온라인 접촉센싱으로 굴착 결과와 힘 예측을 개선한다.

6.한마디로 정리

핵심 방법은?

숙련자의 반복 의사결정을 계층형 FSM으로 구조화하고, 표면 격자 기반 굴착·덤핑점 평가, 타원형 접촉 궤적, 행동 기반 자유운동, 수치 역기구학과 안전층을 연결했다.

핵심 결과는?

18 t 실차에서 대량굴착과 평탄화를 무인 수행했고 시뮬레이션에서는 숙련자와 유사한 약 27초 사이클 및 다양한 목표 표면 성형을 보였지만, 실차의 저수준 제어 한계로 속도와 정밀도가 크게 저하됐다.

한계는?

전방위 인지·정밀 측위·사람 검출이 없고 토사 시뮬레이션이 단순하며 사면·복합 성형의 실차 검증이 부족하다.

#시스템통합·현장실증#작업·궤적계획#제어·MPC#학습·RL·IL·VLA#hierarchical behavior-based architecture#expert strategy transfer#cyclic planning and execution#particle simulation

나의 의견 / 우리 연구와의 연관성

이 연구는 자율굴착을 단일 궤적 생성기가 아니라 작업계획-인지-궤적-제어-안전이 닫힌 순환 시스템으로 보아야 한다는 기준점을 제공한다. 우리 연구에서는 FSM을 그대로 복제하기보다 현재 높이장, 목표면, 버킷 적재상태, 작업단계, 안전상태를 명시적인 상태계약으로 분리하고, 각 모듈이 어떤 관측과 신뢰도를 제공해야 다음 단계가 실행되는지 정의하는 데 활용할 수 있다.

2016년 시스템의 약점은 오늘날의 3D LiDAR·멀티카메라·GNSS/IMU 융합, 학습 기반 토질 추정, 모델예측제어로 직접 보완할 수 있다. 특히 상위 목표면 계획과 장비별 저수준 제어를 분리한 추상화는 서로 다른 굴착기 모델에 공통 작업정책을 배치하려는 연구와 잘 맞는다. 다만 논문에서 시뮬레이션 성능이 실차 성능을 대표하지 못한 사례가 분명하므로, 디지털 트윈 결과는 실차 관절 지연·유압 포화·인지 불확실성을 포함한 단계별 검증과 함께 사용해야 한다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거