이 연구는 듀얼 라이다와 스테레오 카메라로 작업 지형을 인식하고, 기하학적 경로 계획과 제약식 MPC로 굴착기를 제어한 뒤, 멀티뷰 스테레오로 결과를 검사하는 Autonomous Excavation System, 즉 AES를 제안한다. 핵심은 개별 알고리즘의 성능보다 절토와 검사를 하나의 온보드 폐루프로 묶었다는 점에 있다.
이 논문에서 먼저 볼 네 가지
자율 굴착의 여러 구성 요소를 따로 제안한 연구는 이미 존재했다. 이 논문이 한 걸음 더 나아간 지점은 센싱, 계획, 제어, 검사 사이의 단절을 실제 장비 위에서 연결한 데 있다.
절토와 검사의 통합
숙련 기사의 굴착과 별도 측량팀의 사후 검사를 온보드 시스템 하나로 연결했다.
경사면을 놓치지 않는 센서 배치
캐빈과 붐에 라이다를 분산 배치해 붐 자세가 바뀌어도 관심 영역을 조밀하게 관측한다.
기하와 물리를 분리한 계획
DFS·A*가 충돌 없는 경로를 찾고, MPC가 파워·유량·실린더 한계 안에서 시간을 배분한다.
서브 cm 온보드 검사
2-Step Bundle Adjustment로 대규모 3D 복원의 계산 부담을 낮추면서 정밀도를 유지했다.
왜 굴착 자동화는 ‘통합’이 어려운가
건설 현장은 노동력 부족, 인건비 상승, 안전 위험을 동시에 안고 있다. 특히 대규모 절토와 표면 그레이딩은 같은 동작을 반복하면서도 목표 형상을 정밀하게 맞춰야 하므로 자동화의 경제적 가치가 큰 작업이다.
그러나 굴착만 자동화해서는 작업이 끝나지 않는다. 실제 현장에서는 숙련 기사가 흙을 깎은 뒤 별도의 측량팀이 목표 지형과 결과를 비교한다. 오차가 크면 장비가 다시 투입된다. 자동화된 장비가 스스로 결과를 확인하지 못한다면 이 반복 구조는 그대로 남는다.
| 한계 | 현장에서의 의미 | 본 연구의 대응 |
|---|---|---|
| 절토와 검사 미통합 | 굴착 이후 별도 장비와 인력이 필요 | 온보드 멀티뷰 스테레오 검사 |
| 센서 시야각 제한 | 경사면에서 작업 영역이 붐이나 차체에 가려짐 | 캐빈·붐 듀얼 라이다 구성 |
| 물리적 제약의 부분적 고려 | 계획 경로가 유압 장비의 파워·유량 한계를 초과할 수 있음 | 압력 피드백을 포함한 제약식 MPC |
| 시뮬레이션 중심 검증 | 토양과 유압계의 불확실성을 충분히 반영하지 못함 | 30톤 상용 굴착기 실험 |
이 시스템의 진짜 단위는 알고리즘 하나가 아니라, “보고, 깎고, 다시 측정하는” 전체 작업 사이클이다.
연구의 통합 구조를 요약한 편집자 해설
센서에서 검사까지, 하나의 온보드 파이프라인
연구진은 30톤급 Hyundai HX300AL에 센서와 전자유압 제어 장치를 탑재했다. 드론이나 외부 측량 시스템 없이 장비 자체가 작업 지형을 인식하고 결과를 검사하도록 설계했다.
관절·압력 센서
MAP 업데이트
A* 이동
100Hz 저수준 제어
2-Step BA
경사면을 보는 듀얼 라이다
| 센서 | 위치 | 주요 역할 | 정밀도 |
|---|---|---|---|
| 캐빈 라이다 | 캐빈 측면, 기울인 상태 | 붐 움직임과 무관한 원거리 관측 | 약 3cm |
| 붐 라이다 | 붐 하단, 회전축과 평행 | 경사면의 조밀한 근거리 스캔 | 약 3cm |
| 스테레오 카메라 | 붐 하단, 라이다 인접 | 검사용 고해상도 영상 취득 | BA 이후 1cm 미만 |
| IMU·엔코더 | 관절 및 스윙축 | 팔 자세와 캐빈 회전각 측정 | 관절 0.1°, 스윙 2° |
| 압력 센서 | 유압 실린더 내부 | MPC의 파워 제약 계산 | 장비 피드백 |
한 장의 체커보드로 잇는 네 단계 캘리브레이션
모든 센서의 시야가 작업 영역 근처에서 겹치도록 배치했기 때문에 하나의 체커보드와 1~2명의 작업자만으로 캘리브레이션을 수행할 수 있다. 높은 장비에 접근하기 위한 별도 사다리나 대형 타깃도 요구하지 않는다.
흙이 계속 움직여도 지형을 놓치지 않는 법
셀마다 높이와 불확실성을 함께 저장한다
작업 영역은 40cm × 40cm 격자로 나뉜다. 각 셀 c는 높이 추정값 x̂c뿐 아니라 추정 분산 σ̂c2도 가진다. 각 수평 위치에 하나의 대표 높이가 존재한다고 보는 2.5D 표현은 완전한 3D 지도보다 가볍고 굴착 경로 생성에 직접 사용할 수 있다.
굴착 중에는 버킷과 붐, 떨어지는 흙이 라이다에 함께 잡힌다. 시스템은 현재 관절각으로 장비 부품의 3D 바운딩 박스를 계산하고, 그 내부에 있는 포인트를 지형 관측에서 제외한다.
for point in lidar_points:
reject = False
for part in [boom, stick, bucket]:
bbox = compute_3D_bbox(part, current_joint_angles)
if point_in_bbox(point, bbox):
reject = True
break
if not reject:
assign_to_cell(point, heightmap)
칼만 필터형 MAP 업데이트
지형 모델은 버킷이 셀을 통과했는지에 따라 다르게 예측된다. 버킷이 지면 아래를 지나갔다면 버킷 팁 높이를 새 지형의 기준으로 삼고, 그렇지 않다면 이전 높이를 유지하면서 자연 변화에 해당하는 불확실성을 더한다.
라이다 측정의 분산은 센서 고유 오차에 더해, 포인트와 셀 중심 사이 거리의 제곱에 비례해 커진다. 경사면에서는 같은 셀 안에서도 위치가 조금만 달라져 높이가 크게 달라질 수 있기 때문이다.
for cell in heightmap:
if bucket_swept_cell(cell):
x_pred = bucket_tip_height(cell)
var_pred = Q_u
else:
x_pred = cell.height
var_pred = cell.variance + Q_w
for point in filtered_points_in_cell(cell):
d = horizontal_distance(point, cell.center)
R = v + C * d * d
K = var_pred / (var_pred + R)
x_pred += K * (point.z - x_pred)
var_pred *= (1 - K)
cell.height = x_pred
cell.variance = var_pred
두 라이다는 10Hz로 입력되고 높이맵은 5Hz로 업데이트된다. 연구진은 굴착과 덤핑 중에도 지형 변화를 안정적으로 추적했으며, 셀 크기와 노이즈 파라미터가 합리적인 범위에 있다면 성능이 크게 흔들리지 않았다고 보고한다.
경로는 기하학으로, 실행은 물리학으로
시스템은 충돌과 버킷 자세 같은 기하학적 문제를 먼저 풀고, 파워·유량·속도 같은 물리적 문제를 MPC에 맡긴다. 이 분리는 복잡한 탐색을 실시간 수준으로 낮추는 실용적인 설계다.
| 단계 | 목적 | 방법 | 주요 제약 | 계산 시간 |
|---|---|---|---|---|
| 경로 생성 | 기하학적으로 가능한 상태열 탐색 | DFS + A* | 충돌, 절삭각, 버킷 자세 | 약 0.3초 |
| 경로 추적 | 경로에 시간을 배정해 실제 장비로 실행 | MPC | 파워, 유량, 실린더 변위 | 0.08초 미만 |
하나의 굴착은 다섯 단계로 반복된다
공격점으로 이동
굴착 수행
버킷 들어올리기
덤핑 위치로 이동
다음 사이클 준비
| 단계 | 동작 | 핵심 제약 | 알고리즘 |
|---|---|---|---|
| Phase 1 | 공격점 접근 | 지형·장비 충돌 회피 | A*, 4D |
| Phase 2 | 굴착 | 스윙 고정, 과굴착·용량 초과 방지 | DFS, 3D |
| Phase 3 | 버킷 상승 | 충돌 회피 | A*, 4D |
| Phase 4 | 덤핑 위치 이동 | 버킷 방향을 제한해 흙 유출 방지 | A*, 4D |
| Phase 5 | 덤핑 | 목표 자세 도달 | A*, 4D |
많이 퍼내기와 정밀하게 다듬기
일반 굴착
한 사이클마다 1m³ 버킷 용량에 가까운 흙을 퍼내는 단계다.
- 붐·스틱·버킷 실린더 길이의 3D 격자에서 DFS 탐색
- 예상 굴착 부피가 크고 파워 소비가 낮은 후보를 우선
- 버킷 용량, 절삭각, 팔의 지형 관통 여부를 검사
팁 그레이딩
목표 지형의 형상을 버킷 팁으로 정밀하게 다듬는 단계다.
- 목표 표면의 가장 먼 도달 가능점에서 시작
- 일정한 절삭각을 유지하며 캐빈 방향으로 이동
- 높이 오차가 50cm 이하가 되면 일반 굴착에서 전환
def find_digging_path(landscape, target):
root = find_point_of_attack(landscape, target)
stack = [root]
while stack:
node = stack.pop()
if is_feasible(node):
if excavated_volume(node) >= target_volume:
return path_to(node)
children = expand(node)
children.sort(key=volume_up_power_down)
stack.extend(children)
Phase 1·3·4·5의 A* 탐색은 스윙 각도와 세 실린더 길이로 구성된 4D 격자에서 수행된다. 비용은 실린더 유입·유출 유량의 합을 줄이는 방향으로 설계된다. 덤핑 위치로 이동하는 Phase 4에서는 버킷 개구부가 아래를 향해 흙이 쏟아질 수 있는 자세를 장애물과 동일하게 취급한다.
MPC는 ‘어디로’에 ‘얼마나 빠르게’를 더한다
경로 계획이 만든 결과에는 시간 정보가 없다. 경로는 장비가 통과해야 할 상태만 알려줄 뿐, 각 구간을 얼마나 빠르게 움직여야 하는지는 정하지 않는다. MPC는 현재 상태와 유압 압력을 받아 경로에 시간을 배정하고, 장비의 물리적 한계를 넘지 않는 제어 입력을 반복 계산한다.
가벼운 기구학 모델, 빠른 재계산
상태 q는 스윙 각도와 세 실린더 길이, 입력 u는 스윙 속도와 실린더 신축 속도다. 고차 유압 모델은 오일 온도와 마찰에 민감하고 비선형성이 커서 실시간 최적화가 어렵다. 연구진은 1차 기구학 모델과 충분히 빠른 저수준 제어기를 결합하는 실용적 구성을 택했다.
반드시 지켜야 하는 세 제약
| 제약 | 보충 표현 | 의미 |
|---|---|---|
| 파워 한계 | Σ pi·l̇i ≤ Pmax | 유압 펌프의 최대 출력을 초과하지 않음 |
| 실린더 변위 | lmin ≤ li ≤ lmax | 각 실린더의 물리적 스트로크 범위 유지 |
| 펌프 유량 | Σ Ai|l̇i| ≤ Qpump | 동시에 요구되는 전체 유량을 펌프 용량 이내로 제한 |
최적화 목표
Q는 참조 경로에서 벗어나는 오차를 벌점화하고, R은 과도한 제어 입력을 억제한다. 최적화는 Augmented Lagrangian 기반 제약 iLQR로 풀리며 한 번의 계산은 0.08초보다 짧다. 예측 구간의 유압 압력은 상수로 가정하지만, 빠른 재계산으로 실제 변화를 계속 반영한다.
복잡한 유압계를 완벽하게 예측하는 대신, 충분히 단순한 모델을 빠르게 다시 푸는 쪽을 선택했다.
MPC 설계 선택에 대한 해설
수백만 점을 한꺼번에 풀지 않는 정밀 검사
굴착이 끝나면 붐을 고정하고 캐빈을 약 60° 회전시키며 연속 스테레오 영상을 촬영한다. 이 영상으로 목표 지형과 실제 결과를 비교할 수 있는 고밀도 3D 점군을 복원한다.
60° 스윙
Affine KLT
전체 포즈 최적화
전체 점 최적화
고밀도 3D 점군
왜 두 단계로 나누는가
Full Bundle Adjustment는 모든 카메라 포즈와 모든 3D 점을 동시에 최적화한다. 점이 수백만 개에 이르면 포즈와 점 사이의 커플링 항 때문에 계산량이 폭발한다. 하지만 카메라 포즈를 정확히 결정하는 데 수백만 점이 모두 필요한 것은 아니다.
| 단계 | 최적화 대상 | 사용 점 | 카메라 포즈 | 효과 |
|---|---|---|---|---|
| Step 1 | 포즈 + 3D 점 | FAST 점수 상위 수천 개 | 자유 변수 | 적은 점으로 정확한 포즈 결정 |
| Step 2 | 3D 점만 | 수백만 개 전체 | 고정 | 포즈-점 커플링 제거로 고속 복원 |
카메라가 지형을 비스듬히 바라보기 때문에 일반 KLT의 수직 관측 가정은 잘 맞지 않는다. 연구진은 패치 변형을 아핀 변환으로 모델링한 Constrained Affine KLT를 사용한다. 라이다 높이맵은 특징점의 초기 3D 위치를 제공해 BA의 수렴 속도와 안정성을 높인다.
| 방법 | 정밀도 | 시간 | 속도 | 특징 |
|---|---|---|---|---|
| Trimble Total Station | 약 mm | 1,192초 | 34.2 s/m² | 별도 장비와 인력 필요 |
| 3D 라이다 | 약 3cm | 수 초 | 0.1 s/m² 미만 | 빠르지만 정밀 검사에는 부족 |
| 단일뷰 스테레오 | 약 2cm | 수 초 | 0.1 s/m² 미만 | 시야각과 관측 기하의 제약 |
| 제안 방법, 2-Step BA | 1cm 미만 | 25.8초 | 0.74 s/m² | 온보드 자동 검사 |
45° 경사면에서 확인한 실제 성능
| 장비 | Hyundai HX300AL, 30톤, 1m³ 버킷, 10cm 강철 이빨 |
|---|---|
| 작업 | 45° 상향 경사면 절토, 폭 3.5m × 높이 1.5m |
| 진행 방식 | 세 위치에서 굴착기를 수평 이동시키며 반복 절토 |
| 저수준 제어 | 전자유압 밸브 100Hz |
| 온보드 컴퓨터 | 쿼드코어 1.8GHz, RAM 8GB, GPU 없음 |
| 모듈 | 시간 | 운영상 의미 |
|---|---|---|
| 지형 추정 | 5Hz | 10Hz 라이다 입력으로 작업 중 변화 추적 |
| 경로 생성 | 약 0.3초 | 덤핑과 복귀 중 다음 경로를 생성해 작업 중단 방지 |
| MPC | 0.08초 미만 | 물리 제약 변화에 실시간 대응 |
| 검사 알고리즘 | 25.8초 | 35m² 기준 0.74 s/m² |
제안한 MPC는 실험 중 파워 제약을 지속적으로 만족했고 버킷 팁의 불안정한 흔들림도 나타나지 않았다. 반면 물리 제약을 포함하지 않은 기준 제어기는 파워 한계를 반복적으로 위반했다. 이는 경로가 기하학적으로 가능하다는 사실만으로 실제 유압 장비에서 안전하게 실행할 수 있는 것은 아니라는 점을 보여준다.
통합은 완성됐지만, 현장 일반화는 이제부터다
연구가 시사하는 세 가지
첫째, 건설 자동화의 경쟁력은 개별 인식이나 제어 알고리즘보다 작업 완료 여부를 스스로 판단하는 폐루프에 있다. 검사까지 통합되어야 장비가 다음 행동을 자율적으로 결정할 수 있다.
둘째, 7.4cm의 평균 절토 오차와 1cm 미만의 검사 정밀도는 서로 다른 지표다. 시스템은 결과를 매우 정밀하게 측정할 수 있지만, 실제로 흙을 목표 형상에 맞게 가공하는 정확도는 아직 개선 여지가 있다. 고정밀 마감 작업에 적용하려면 더 세밀한 제어와 토질 대응이 필요하다.
셋째, 저사양 온보드 컴퓨터와 GPU 없는 환경에서도 전체 파이프라인을 실행했다는 사실은 중요하다. 현장 장비에서는 최고 성능보다 계산 예측 가능성, 센서 유지보수성, 고장 시 복구 가능성이 더 직접적인 설계 조건이기 때문이다.
읽고 나서 기억할 것
- 핵심 방법: 칼만 필터형 2.5D 높이맵, DFS·A* 경로 생성, 물리 제약 MPC, 2-Step BA 검사를 하나의 온보드 시스템으로 통합했다.
- 핵심 결과: 30톤 실물 굴착기로 45° 경사면을 평균 7.4cm 오차로 절토하고, 결과를 1cm 미만 정밀도로 자동 검사했다.
- 핵심 설계 판단: 기하학적 경로와 물리적으로 실행 가능한 궤적을 분리해 계산 효율과 장비 안전성을 동시에 확보했다.
- 남은 과제: 날씨와 조명, 지하 장애물, 토질 변화, 크롤러 이동, 다중 장비 협업까지 다뤄야 완전한 현장 자율화에 도달한다.
적용 관점에서 본 다음 실험
이 연구를 재현하거나 확장한다면 거대한 전체 시스템부터 복제하기보다, 지형맵과 캘리브레이션을 독립적인 검증 단위로 분리하는 편이 현실적이다.
- MAP 기반 2.5D 높이맵을 구현하고 토질 변화와 포인트 밀도에 따른 오차를 측정한다.
- C2C, L2C, L2L, S2V 캘리브레이션을 반복 수행해 작업자와 설치 오차에 대한 민감도를 평가한다.
- 7.4cm 절토 오차가 목표 작업의 허용 공차를 충족하는지 용도별로 구분한다.
- 검사 정밀도와 실제 가공 정확도를 별도 KPI로 관리해 성능을 과대 해석하지 않는다.
논문 및 해설 범위
Inkyu Jang, Junha Kim, Dongjae Lee, Changhyeon Kim, Changsuk Oh, Youngbum Kim, Sangwook Woo, Heejee Sung, and H. Jin Kim. “Towards Fully Integrated Autonomous Excavation: Autonomous Excavator for Precise Earth Cutting and Onboard Landscape Inspection.” IEEE Robotics & Automation Magazine, 2024.
- 본문의 장비 구성, 알고리즘 구조, 실험 수치와 성능 평가는 제공된 논문 요약 노트를 기준으로 정리했다.
- 원문 노트에 표시된 참고문헌 번호 [15], [17], [18], [20]은 논문의 번호 체계를 따른다. 개별 서지정보는 제공 자료에 포함되지 않았다.
- MAP 가중 평균식과 개별 유압 제약식, 이차 MPC 비용함수는 이해를 돕기 위한 보충 표현이며 논문에 동일한 형태로 직접 제시된 식이 아닐 수 있다.
- “전문 기사 수준”, “건설 검수 기준 충족” 같은 적용 평가는 작업 종류와 현장 허용 공차에 따라 달라질 수 있으므로 실험 수치와 구분해 해석해야 한다.
- 원자료는 Obsidian 보관본의 원문 Markdown 및 PDF를 기반으로 한다.