Baidu Research2023#019시스템통합·현장실증논문 PDF 기반 카드

TNES: 작업장 자율굴착기의 지형 주행성 지도·내비게이션·굴착 시스템

TNES: Terrain Traversability Mapping, Navigation and Excavation System for Autonomous Excavators on Worksite

Tianrui Guan, Zhenpeng He, Ruitao Song, Liangjun Zhang · Autonomous Robots 47 (2023)

한줄 요약 — TNES는 0.2m 격자에 지형 의미·경사·단차를 누적하고 궤도·차체 사이의 주행성 비용으로 Hybrid A*를 확장해 대형 굴착기를 안내한다. 오프라인 계획 성공률을 33.3%에서 82.6%로 높이고 평균 약 10cm 추종을 달성했으며, TNS 주행 뒤 AES 굴착까지 최소 개입으로 연결했다.

1.연구 배경 및 동기

차선 없는 복합 건설현장에서 험지 이동과 굴착을 하나의 시스템으로 연결

굴착기는 암석더미, 구덩이, 급경사, 물웅덩이와 변하는 토사를 통과한다. 카메라만 쓰면 기하 위험을, LiDAR만 쓰면 철근·물 같은 의미 위험을 놓친다. 대형 장비의 폭·등판능력·연산예산을 반영한 주행성 판단이 필요하다.

논문은 RGB와 LiDAR로 연속 주행성 점수를 만드는 TNS를 49톤 굴착기에서 검증하고, 6.5톤 복합현장에서는 이를 AES와 결합한 TNES로 확장한다. 목표는 좌표를 받은 장비가 현장을 이동해 굴착하고 지정 위치로 돌아오는 연속 활동이다.

원문 Figure 1, PDF 3쪽
원문 Figure 1 · PDF p.3 — Fig. 1 Overview of our system TNS: Top left: Sensors on the excava- tor, including RGB cameras and Livox LiDAR. Bottom left: Detection region from a third-person perceptive. Top middle: Frontal view cap- tured by the camera. Bottom middle: Semantic segmentation output, where green, yellow, and maroon correspond to flat region, bumpy
원문 Figure 2, PDF 5쪽
원문 Figure 2 · PDF p.5 — Fig. 2 Overall pipeline of TNS for autonomous excavator navigation: We show different components of TNS as blue blocks, initial and intermediate inputs as green blocks, and the hardwares as pink blocks, respectively (Color figure online)
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

TNS 입력은 RGB 영상, 3D LiDAR 점군, RTK 또는 지도 기반 위치다. Fast-SCNN이 terrain class를 분할하고 카메라–LiDAR 보정으로 각 의미를 점군과 0.2m elevation grid에 투영한다. 각 셀은 최신 점의 평균높이, 갱신시각, 경사, 단차, 의미를 저장한다. 경사와 단차가 장비 임계값을 넘으면 금지하고, 안전 범위에서는 의미와 기하를 연속 점수로 융합한다.

위치는 전역 점군지도와 LiDAR point-to-plane 잔차, IMU를 반복 칼만필터로 결합한다. 개선 Hybrid A*는 경로 구간에서 두 궤도와 궤도 사이가 덮는 면적의 평균 주행성으로 이동비용을 가중한다. 추종기는 heading·cross-track error로 좌우 궤도 명령을, 속도 PI 제어기는 종방향 속도를 만든다. TNES 단계에서는 이 주행 파이프라인이 AES의 굴착 목표·작업계획과 연결된다.

처리 파이프라인

1

RGB 지형 의미분할

Fast-SCNN이 flat, bumpy, rock pile, water, water–dirt mixture, vehicle, obstacle의 CWT 의미를 픽셀별 예측한다.

2

의미–점군 투영

timestamp와 보정행렬로 대응 LiDAR 점을 찾고 각 점의 지형 label을 격자 셀에 누적한다.

3

경사·단차 계산

셀 주변 PCA의 최소 고유벡터로 surface normal과 slope를 구하고 더 넓은 7×7 이웃의 최대 높이차로 step height를 계산한다.

4

장비 제약 주행성 융합

암석·차량·장애물·물은 금지하고 flat 안전영역은 최고점수로 두며, 나머지는 경사·단차 점수를 사용한다.

5

전역지도 기반 위치추정

LiDAR 점을 전역지도 평면에 정합하고 IMU 전파와 point-to-plane 측정을 IKFoM 반복 칼만필터에서 갱신한다.

6

주행성 가중 Hybrid A*

경로 조각이 덮는 좌우 궤도와 차체 하부의 평균 주행성으로 경로 비용을 늘리고, 전후진·회전 추가비용과 함께 탐색한다.

7

궤도 추종과 AES 연계

cross-track·heading error와 속도 PI로 좌우 궤도를 제어한다. 목표 도착 후 AES가 굴착·덤핑하고 필요 시 복귀 목표를 실행한다.

원문 수식과 의미

격자 경사

s=arccos⁡(nz),nz∈[0,1],  ∥n⃗∥=1s=\arccos(n_z),\quad n_z\in[0,1],\;\lVert\vec n\rVert=1

PCA 표면법선과 전역 z축 사이 각도를 쓰는 식 (1)이다.

단차 높이

h=max⁡i∣pz−pzi∣,i∈[1,k′]h=\max_i |p_z-p_{z_i}|,\quad i\in[1,k']

중심 셀과 7×7 이웃의 최대 높이차를 구하는 식 (3)이다.

기하 주행성

Tgeo={0,s>scri  or  h>hcri1,s<ssafe  and  h<hsafemax⁡(1−α1s/scri−α2h/hcri,0),otherwiseT_{geo}=\begin{cases}0,&s>s_{cri}\;\text{or}\;h>h_{cri}\\1,&s<s_{safe}\;\text{and}\;h<h_{safe}\\\max(1-\alpha_1 s/s_{cri}-\alpha_2 h/h_{cri},0),&\text{otherwise}\end{cases}

장비 위험·안전 임계 사이에서 경사와 단차를 점수화하는 식 (4)이며 alpha1+alpha2=1이다.

의미–기하 융합

T={0,Csem∈{rock,excavator,obstacle,water}1,Csem=flat  and  Tgeo>0Tgeo,otherwiseT=\begin{cases}0,&C_{sem}\in\{rock,excavator,obstacle,water\}\\1,&C_{sem}=flat\;\text{and}\;T_{geo}>0\\T_{geo},&\text{otherwise}\end{cases}

의미 위험은 차단하고 평지는 허용하며 나머지는 기하점수를 쓰는 식 (5)이다.

주행성 경로 가중치

kTNS=ktTtAt+kuTuAuAt+Auk_{TNS}=\frac{k_tT_tA_t+k_uT_uA_u}{A_t+A_u}

좌우 궤도와 차체 하부의 평균 주행성을 Hybrid A* 비용에 넣는 식 (13)이다.

궤도식 차체 운동학

v=vl+vr2,ω=vr−vll,x˙=vcos⁡θ,  y˙=vsin⁡θ,  θ˙=ωv=\frac{v_l+v_r}{2},\quad \omega=\frac{v_r-v_l}{l},\quad \dot{x}=v\cos\theta,\;\dot{y}=v\sin\theta,\;\dot{\theta}=\omega

좌우 궤도 속도를 차체 선속도·각속도로 바꾸는 식 (14)–(15)다.

원문 Figure 3, PDF 5쪽
원문 Figure 3 · PDF p.5 — Fig. 3 Overview of the perception module in TNS: Our system takes RGB images and point clouds as inputs to infer traversability. We extract semantic information using segmentation and associate terrain labels with point clouds, as shown in A (top). We extract geometric informa-

3.핵심 기술

CWT 의미체계와 경량 Fast-SCNN

CWT는 지면을 flat, bumpy, rock pile, water, water–dirt mixture와 차량·장애물로 나눠 주행 가능성과 연결한다. Fast-SCNN은 RTX 2060급 현장 연산예산을 고려한 선택이다.

  • 영상 30분, 주석 669장, 해상도 1920×1080
  • 7개 CWT class
  • Fast-SCNN 1.45M parameters
  • CWT mIoU 54.77, mAcc 68.75, 7.45 GFLOPS

기하–의미 상호보완 주행성 격자

PCA slope는 국소 기울기, 1.4m step height는 넓은 높이변화를 본다. 의미는 물·철근을, 기하는 급경사·흙더미를 보완해 한쪽이 불확실해도 보수적으로 위험을 잡는다.

  • 격자 0.2m, 최근점 평균높이 저장
  • 8-neighbor slope와 7×7 step height
  • 49톤 장비 위험경사 35도·안전경사 10도
  • 경사 임계에서 유도한 h_cri 0.35m, h_safe 0.10m

저시야각 LiDAR를 위한 전역지도 정합 위치추정

빠른 cabin swing은 저시야각 LiDAR SLAM을 무너뜨릴 수 있다. TNS는 전역지도 point-to-plane 잔차를 IMU와 반복 칼만필터로 융합하고, 6.5톤 현장에서는 GPS 고도 드리프트도 지도 정합으로 줄인다.

  • IKFoM 반복 칼만필터
  • LiDAR–IMU extrinsic known
  • 전역 map point-to-plane residual
  • RTK 고도 약 20cm 변동보다 일관된 round-trip 높이 추정

굴착기 footprint를 반영한 주행성 경로계획

경로 조각에서 두 궤도와 그 사이가 덮는 면적을 따로 평가해 지면비용을 합친다. Hybrid A*로 급격한 방향변환을 줄이지만 임의 지형에서 항상 부드러운 경로를 보장하지는 않는다.

  • 전후진·회전 extra cost 유지
  • track area At와 underbody area Au 분리
  • 49톤 설정 track 간 거리 2.75m
  • planning occupancy threshold 0.6
원문 Figure 7, PDF 13쪽
원문 Figure 7 · PDF p.13 — Fig. 7 Planner output comparisons between geometric-only scheme (Chilian & Hirschmüller, 2009) (top) and TNS (bottom): We show planned trajectories with our modified Hybrid A* (Kurzer, 2016) planner. The planning is based on a global traversability map. We
원문 Figure 8, PDF 13쪽
원문 Figure 8 · PDF p.13 — Fig. 8 Tracking controller performance evaluation: We plot one of the trajectory tracking results with planned and actual paths (left), tracking error versus time (top-right), and the histogram of the tracking error (bottom-right)

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

원문 Figure 4, PDF 9쪽
원문 Figure 4 · PDF p.9 — Fig. 4 Complex worksite terrain (CWT) dataset: We show a few samples from our CWT dataset (top) and corresponding annotations (bottom). All images are collected in unstructured environments with various terrains
원문 Figure 5, PDF 11쪽
원문 Figure 5 · PDF p.11 — Fig. 5 Visual results of TNS: In the traversability map, the higher the traversability score, the easier it is for robots to navigate the corresponding terrain (Color figure online)
원문 Figure 6, PDF 12쪽
원문 Figure 6 · PDF p.12 — Fig. 6 ROC plot: We plot ROCs on several SOTA map- ping/segmentation methods. LiDAR-based segmentation methods (Cortinhal et al., 2020; Thomas et al., 2019) are trained on the point cloud labels, so they have the advantage of prior knowl- edge on the ground truth. In the real world, annotated 3D point cloud data would not be easily available for applications. We use a point in the ROC plot to represent those methods, as there is not a threshold to adjust
원문 Figure 9, PDF 14쪽
원문 Figure 9 · PDF p.14 — Fig. 9 New setup of the excavator and sensors described in Sect. 7.2.1
원문 Figure 10, PDF 15쪽
원문 Figure 10 · PDF p.15 — Fig. 10 left: The point cloud map of the worksite. The color indicates the z-value of each point. right: Localization alignment diagram, the white point cloud is the map, the green point cloud is from the left LiDAR, and the yellow point cloud is from the front LiDAR (Color figure online)
원문 Figure 11, PDF 15쪽
원문 Figure 11 · PDF p.15 — Fig.11 The round trip results from the localization experiment. z repre- sents the height measurement, while x represents the milestone location in the round trip. Ideally, the measurement should be consistent at the
원문 Figure 12, PDF 16쪽
원문 Figure 12 · PDF p.16 — Fig. 12 New environment and semantic annotations: We highlight several challenging scenes on our new working site, and the corresponding 18 types of semantic annotation. We omit “Other” class legend for simplicity

핵심 결과 해석

RELLIS-3D에서 TNS는 traversable/non-traversable accuracy 71.77/91.05%, mAcc 81.41%, all accuracy 85.70%, AUC 0.803, MSE 0.106으로 비교군 중 가장 균형 잡힌 결과를 냈다. 기존 방법보다 mAcc가 4.17–30.48% 높고 MSE는 13.8–71.4% 낮았다. 의미분할 자체는 CWT에서 mIoU 54.77에 그쳤지만 기하 융합이 최종 주행성 예측을 보완했다.

90회가 넘는 무작위 계획에서 TNS 지도의 충돌 없는 경로 생성 성공률은 82.6%, geometric-only는 33.3%였다. 실제 49톤 장비의 straight 9개, small turn 8개, sharp turn 8개 경로는 모두 목표에 도달했고 평균 tracking error가 약 0.06–0.104m 범위였다. 대표 50m 경로는 102초, 평균 0.5m/s로 주행하며 최대오차 약 14cm, 대부분 약 6cm를 보였다.

주행성 map은 segmentation 75.4ms, 투영 42.3ms, 기하 계산 22.1ms 평균으로 10 Hz 갱신을 보고했다. 6.5톤 TNES는 지도 기반 위치추정과 이동–굴착 연속작업을 시연했지만 굴착 성공률·시간·오차는 별도 정량화하지 않았다. 정량 우위는 TNS 지도·주행에서, TNES 통합은 기능 시연에서 확인된다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
CWT 데이터30분 영상, 669장1920×1080 RGB, 7개 지형·주행성 classPDF p.8
Fast-SCNN CWT 성능mIoU 54.77, mAcc 68.751.45M parameters, 7.45 GFLOPSPDF p.10
TNS 주행성 정확도71.77/91.05%, mAcc 81.41%, all accuracy 85.70%RELLIS-3D traversable/non-traversable mapPDF p.10
TNS AUC·MSE0.803 / 0.106RELLIS-3D 주행성 mapPDF p.10
계획 성공률82.6% vs 33.3%90회 초과 무작위 start–goal, TNS vs geometric-onlyPDF p.12
실차 경로 25개straight 158.85m/0.102m, small-turn 219.35m/0.104m, sharp-turn 242.14m/0.059m경로별 총거리/평균오차PDF p.12
모듈 평균 runtime분할 75.4ms, 투영 42.3ms, 기하 22.1ms주행성 map 10 Hz 업데이트 보고PDF p.12
대표 추종주행약 50m, 102초, 평균 0.5m/s최대오차 약 14cm, 대부분 약 6cmPDF p.13
복합현장 추가 데이터128장, 추가 12 classCWT 7 class 외 작업장 문맥 의미PDF p.14
위치센서 정확도RTK 수평 약 5cm, 고도 약 20cm지도 기반 융합 도입 근거PDF p.16
실패 사례와 경계조건

5.한계 및 향후 연구

현재 한계

  • 49톤과 6.5톤 두 기종, 제한된 두 현장만 평가해 다른 굴착기 크기와 지형으로의 일반화가 제한된다.
  • 작업자와 다른 장비가 많은 동적 현장은 안전상 충분히 시험하지 못했고 충돌 회피·상호작용 모듈도 통합되지 않았다.
  • RTK 고도 드리프트, 먼지 LiDAR 잡음, 반복 지형의 SLAM 퇴화가 지도 정확도를 계속 제한한다.
  • RTX 2060급 연산예산 때문에 더 무거운 학습 기반 인지·내비게이션을 사용하지 못했다.
  • TNES 이동–굴착 통합 시연에는 굴착 성공률, 작업시간, 사람 개입 횟수의 정량 평가가 없다.

향후 연구

  • RTK·LiDAR·카메라를 더 안정적으로 융합해 반복 지형과 먼지에서도 고도·자세 일관성을 유지한다.
  • 굴착기 크기·궤도 폭·질량중심을 활용해 작은 장애물을 궤도 사이로 넘는 인간 작업자 수준의 planner를 개발한다.
  • 다양한 지형과 장비 등급에서 임계값과 계획 성능을 재검증한다.
  • 사람·차량 인식, 충돌회피, 인간–기계 상호작용을 결합해 다기계 협업 현장으로 확장한다.

6.한마디로 정리

핵심 방법은?

RGB 의미와 LiDAR 경사·단차를 장비 사양에 맞춘 연속 주행성 격자로 융합하고, 전역지도 위치추정·주행성 Hybrid A*·궤도추종을 AES에 연결한다.

핵심 결과는?

주행성 mAcc 81.41%, 계획 성공률 82.6%, 49톤 실차 평균 약 10cm 추종을 달성하고 6.5톤 TNES의 주행–굴착 연속작업을 시연했다.

한계는?

동적 작업자·장비 현장과 TNES 굴착 정량 검증이 부족하며 먼지·RTK 고도·반복지형 측위가 남은 위험이다.

#시스템통합·현장실증#측위·매핑#환경인식#작업·궤적계획#RGB-LiDAR 주행성 지도#전역지도 정합#반복 칼만필터#Hybrid A*#AES 통합

나의 의견 / 우리 연구와의 연관성

TNES는 팔 제어만큼 차체가 안전한 정차 위치에 도달하는 능력이 중요함을 보여 준다. RGB–LiDAR 상호보완, 장비 폭·등판각 격자, 궤도 footprint 비용은 건설기계에 맞는 필드로봇 설계다.

후속 시스템은 정적 지도에 사람·차량 미래점유, 전복 안정도, 지형변화를 추가하고 정지·우회·복구까지 평가해야 한다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거