Baidu 자율굴착 논문 핵심 분석 2019-2024

Baidu 자율굴착 논문 핵심 분석 2019-2024

[!abstract] 문서 목적 Baidu 폴더의 연구 논문 20편을 기존 정리본의 정보 밀도에 맞춰 다시 분석했다. 각 논문은 대표그림 - 요약 - 방법 - 토의 순서로 정리했으며, 방법은 실제 재현에 필요한 입력·전처리·모델/알고리즘·학습/계획/제어·평가 절차를 중심으로 썼다.

[!tip] 읽는 법 - 대표그림은 결과 화면보다 시스템·모델·알고리즘의 내부 구조를 우선했다. - 요약은 목적, 핵심 새로움, 가장 중요한 검증 결과만 남겼다. - 방법은 논문을 직접 재현한다는 관점에서 순서를 복원했다. 원문에 없는 값은 추측하지 않고 원문 구현 세부 확인 필요로 표시했다. - 토의는 논문이 직접 밝힌 한계/향후 연구와 이 문서의 해석·연구주제 제안을 구분했다. - 본문 수치와 주장의 근거 페이지는 HTML 주석으로 남겨 화면을 복잡하게 하지 않으면서 추적 가능하게 했다.

분석 묶음 논문 수 핵심 범위
통합 시스템·작업계획 4 AES, 계층형 계획, TaskNet
환경인지·자율주행 4 제진, TNS/TTM, VINet
동작·궤적 계획 4 R-map, 토크/시간 최적화, IL+STOMP
학습·제어·계측 4 강체 굴착, 체적추정, LPV-MPC, RL
안전·실환경·종단간 시스템 4 안전 모니터링, 실환경 AES, ExACT

통합 서론: Baidu 자율 굴착 연구의 흐름과 다음 연구기회

[!info] 근거 구분 아래에서 논문 직접 근거는 20편의 초록·결론·한계·향후 연구에 명시된 내용이다. 종합 해석은 여러 논문의 반복 한계를 연결해 도출한 연구기회이며, 개별 논문의 주장으로 읽으면 안 된다.

2019~2024 기술 흐름

[!abstract] 종합 해석 이 연구군의 성과는 “작동하는 자율 굴착기”를 만드는 데 있다. 다음 경쟁력은 모듈을 하나 더 추가하는 것이 아니라, 미지 재료·변형 지형·사람과 장비가 섞인 현장에서 물리 상태와 작업 성과를 온라인으로 추정하고, 작업계획-궤적-제어를 안전하게 함께 갱신하는 능력에서 갈릴 가능성이 크다.

20편을 아우르는 연구공백

연구공백 기존 접근의 공통 한계 추천 연구문제 최소 검증 설계/지표
1. 재료 물성·저항력의 온라인 추정과 적응 제어 도달성 지도는 기구학 중심이고, 토양 힘 모델은 사전 파라미터나 시뮬레이션에 의존한다. AES·TaskNet·2022 배치 논문은 밀도·강성·점성·경도·저항력 감지와 힘 피드백 활용 부족을 직접 한계로 제시한다. (논문 직접 근거) 카메라/LiDAR 외에 실린더 압력·관절 상태를 융합해 굴착 중 물성과 저항을 추정하고, 다음 동작의 깊이·속도·버킷 각도·제어 모드를 즉시 조정할 수 있는가? (종합 해석) 서로 다른 토질·함수비·혼합물 조건에서 고정 궤적/사전 물성 모델과 비교. 물성·저항 추정오차, 버킷 충전율, 소요 에너지 또는 토크, 사이클 시간, 걸림·중단률을 측정.
2. 계획-실행-성과를 잇는 폐루프 굴착 궤적 최적화는 정적 swept volume을 대리 지표로 쓰며, 체적 추정은 버킷 밖 돌출물과 동적 LiDAR 잡음에 취약하다. 다수 학습 플래너는 사전 학습 뒤 실행하고 실제 적재량·지형 변형으로 정책을 즉시 보정하지 않는다. (논문 직접 근거) 매 굴착 후 실제 체적·질량·지형 변화·저항력을 관측해 다음 굴착 위치와 궤적을 재계획하면 장기 생산성과 품질을 높일 수 있는가? (종합 해석) 동일 작업영역에서 개방루프/단일-step 탐욕/성과 피드백 재계획을 비교. 누적 반출량, 목표 형상 오차, 굴착 횟수, 공회전·실패 횟수, 총 작업시간을 평가.
3. 데이터 효율적이며 안전 제약을 보장하는 sim-to-real 학습 강체 굴착 학습과 IL+STOMP는 로봇암 또는 제한된 실험계 중심이고, RL은 시뮬레이션 의존성이 크다. ExACT는 소수 시연의 가능성을 보였지만 단순화된 선형 시뮬레이터에서만 검증했고 고주파 밸브 성분을 충분히 학습하지 못했다. (논문 직접 근거) 오프라인 실데이터, 시뮬레이션, 물리 제약 최적화를 결합해 적은 시연으로도 실굴착기에 이전되고 관절·충돌·힘 제약을 위반하지 않는 정책을 만들 수 있는가? (종합 해석) 동일 시연 예산에서 순수 IL, 순수 모델기반, 하이브리드를 비교. 실기 성공률, 제약 위반·안전정지 횟수, sim-to-real 성능 저하, 추가 실데이터 대비 적응 속도, 제어 지연을 측정.
4. 베이스-암-작업 순서를 동시에 다루는 온라인 통합 계획 AES는 베이스 이동과 암 동작의 강한 결합을 인정하지만 동시에 최적화하지 않았다. 계층형 플래너는 베이스 이동이 2D에 제한되고, TTM/TNS의 기존 플래너는 주행성 지도의 기계 특성을 충분히 활용하지 못한다. RL 연구도 불확실성에 대한 반응형 재계획을 후속 과제로 둔다. (논문 직접 근거) 변화하는 지형에서 베이스 위치·주행 경로·굴착 순서·버킷 궤적을 하나의 receding-horizon 작업계획으로 갱신할 수 있는가? (종합 해석) 트럭 적재 또는 트렌칭 전체 작업에서 순차 모듈형 계획과 비교. 작업 완료시간, 베이스 이동거리, 재계획 지연, 유효 굴착률, 목표 형상 오차, 계획 실패율을 평가.
5. OOD 환경과 사람·장비 혼재 현장의 검증 가능한 안전성 눈·얼음·비·먼지·강한 조명, 미지 물체, 센서 이상에 대한 일반화가 제한적이다. 안전 데이터셋은 작고, TNS/TTM은 위험 지형·다른 크기 장비·사람 및 타 장비 혼재를 충분히 시험하지 못했다. 2024 다중 작업 시연도 통제된 구역에서 수행되었다. (논문 직접 근거) 인지 불확실성·센서 고장·동적 장애물을 명시적으로 추적하고, 성능 저하 시 감속-정지-재계획으로 전환하는 검증 가능한 안전 감독기를 만들 수 있는가? (종합 해석) 날씨·조명·센서 드롭·미지 장애물·사람/장비 진입 시나리오를 체계적으로 주입. 위험 탐지 누락, 오경보, 정지거리, 최소 이격거리, 복구시간, 임무완료율과 장시간 무개입 운용시간을 평가.

지금 시작할 만한 우선 연구주제 TOP 3

1. 작업 성과 피드백 기반 물성·저항 적응형 폐루프 굴착

2. 물리·안전 제약을 내장한 소량데이터 sim-to-real 굴착 정책

3. 동적 작업장의 주행성-작업계획-굴착 통합 재계획

논문별 상세 분석


[!summary] A. 통합 시스템·작업계획 인지-계획-제어 통합, 작업 분해, 학습 기반 task planning을 다룬다.

2020 · AES: 위험 환경용 자율굴착기 시스템

1) 대표그림

2020-aes-system-overview

그림 설명: LiDAR·카메라 기반 인지가 장애물·재질·지형 정보를 만들고, 작업계획·동작계획·제어로 전달되는 perception-centered AES 구조. 원문 Figure 3, PDF p.9.

2) 요약

3) 방법

  1. 장비·센서 구성: drive-by-wire 유압 굴착기에 RTK, 관절 경사계, Livox Mid-100 LiDAR, ZED RGB-D 카메라를 장착하고 CAN 버스로 제어한다. Linux/ROS에서 인지·계획·제어·응용 노드를 동시에 실행하며, 논문 장비는 Intel i7 8 CPU·NVIDIA GPU 2개를 사용했다.
  2. 환경 인지: RGB 영상은 Mask R-CNN으로 암석·장애물을 분할하고 카메라·LiDAR 깊이를 결합해 3D 경계상자를 구한다. 재질은 Deep Encoding Pooling Network로 분류하고, 덤프트럭은 오프라인 3D 템플릿과 온라인 LiDAR 점군을 ICP로 정합한다.
  3. 굴착 목표 선택: 작업영역을 2.5D 높이 격자로 변환하고, 데이터 기반 네트워크가 사람 운전 패턴을 모사해 버킷 최초 접촉점(POA)과 인입 이동거리를 출력하게 학습한다. 목표 선택 시연 수와 네트워크 세부 하이퍼파라미터는 원문 구현 세부 확인 필요.
  4. 동작 패턴 학습: 사람 굴착 궤적에서 IRL로 관절별 종단 자세 오차와 변화율에 대한 비용 가중치를 오프라인 학습하고, POA와 이동거리로 시작·종단 관절자세를 역기구학으로 계산한다.
  5. 온라인 계획·제어: 학습된 비용을 STOMP에 넣고 불순물·트럭·건물 등 인지된 장애물 비용을 추가해 충돌 없는 굴착·덤핑 관절궤적을 만든 뒤, 저수준 제어기가 이를 추종한다. 비정상 사람·동물 감지와 수동 비상제어를 안전장치로 둔다.
  6. 검증: 단순 적재부터 암석 제거·장애물·물 영역이 결합된 8개 시나리오와 실제 폐기물 처리·광산 현장에서 사이클 시간, 버킷 충전율, 시간당 처리량, 무개입 운전시간을 측정한다.

4) 토의

2021 · AES: 실제 적재 작업용 통합 자율굴착기

1) 대표그림

2021-aes-system-architecture

그림 설명: 센서 입력에서 정밀 2D/3D 인지, 작업계획, 동작계획, 제어, 운용 GUI까지 이어지는 AES 전체 소프트웨어·하드웨어 파이프라인. 원문 Figure 2, PDF p.3.

2) 요약

3) 방법

  1. 장비·센서 구성: CAN 제어가 가능한 drive-by-wire 유압 굴착기에 RTK, SICK/Honeywell 경사계, Livox Mid-100 LiDAR, RGB 카메라를 장착하고 Intel i7+NVIDIA GPU Linux 컴퓨터에서 ROS 노드로 인지·계획·제어·응용 계층을 실행한다. STM32F407 보드가 저수준 CAN 통신을 담당한다.
  2. 영상·재질 전처리: 256×256 실제 분진 영상 1,000쌍과 시험 200장을 사용해 멀티스케일 인코더-디코더 제진망을 학습하고, 8종 재질 영상 7,563장(학습 6,720·시험 843)으로 attention이 포함된 Deep Encoding Pooling Network를 학습한다. 논문은 각각 P40 GPU 1개에서 5시간·1시간 학습을 보고했다.
  3. 객체·3D 자세 인지: Mask R-CNN을 암석/장애물 인스턴스 4,000개로 학습한 뒤 2D 분할과 LiDAR·카메라 깊이를 결합해 3D 경계상자를 맞춘다. 덤프트럭은 다중 시점 점군 템플릿을 만들고 ICP 정합으로 6-DoF 자세와 투하 위치를 구한다.
  4. 팔 작업계획: LiDAR 지형을 2.5D 높이맵으로 만들고 학습 모델이 POA와 버킷 이동거리를 예측한다. 사람 시연 궤적에서 IRL로 종단오차·속도·가속도·버킷-지면 거리 비용의 가중치를 학습하고, 온라인 궤적 최적화에 정·동적 장애물 비용을 더한다.
  5. 차체 작업·경로계획: 작업영역을 한 위치에서 팔로 처리 가능한 task zone으로 분할해 방문 순서를 만든다. LiDAR 3D 점군, RTK 위치, 높이·점유 정보를 이용해 주행가능 영역을 만들고 탐색 기반 경로계획과 MPC로 각 차체 목표점에 이동한다.
  6. 제어·안전: 상위 관절/말단 추종 결과를 저수준 유압밸브 명령으로 변환한다. 지도에 사전 금지구역을 두고, RTK·관절센서로 링크 진입을 막으며, 카메라가 사람·동물을 검출하면 정지시킨다.
  7. 평가: 시뮬레이션·기록 데이터·HIL·실차를 단계적으로 검증하고, 다양한 장비·시나리오에서 작업 성공, 사이클/처리량, HPI와 센서·통합 실패를 기록한다.

4) 토의

2021 · 계층형 작업·차체·팔 계획 구조

1) 대표그림

2021-hierarchical-planner-architecture

그림 설명: 사용자 작업을 고수준 계획기가 재료 제거(MRSP)와 차체 이동(BMSP) 하위작업으로 나누고, 각 motion primitive와 제어기로 연결하는 3계층 계획 구조. 원문 Figure 1, PDF p.3.

2) 요약

3) 방법

  1. 작업 입력·도달영역 설정: 사용자가 목표 작업영역과 목표 높이를 지정하면 장비의 최소·최대 도달거리와 중첩폭으로 부채꼴 또는 직사각형 local task region을 정의한다. 도랑은 후진형, 파일 제거는 전진형 작업으로 구분한다.
  2. 고수준 분할: 작업 길이·폭과 도달범위로 필요한 정차 지점과 재료 제거 하위영역 수를 계산한다. 대규모 파일은 열, 부채꼴 조각, 필요 시 여러 높이층으로 분할하고 열 사이를 큰 반경의 반원 U턴으로 연결한다.
  3. 상태 취득: RTK로 차체 위치, 관절센서로 자세, Livox Mid-100 LiDAR로 지형 점군을 갱신한다. 실험의 RTK·LiDAR 갱신률은 10 Hz, 관절각은 100 Hz·0.1° 정확도로 보고됐다.
  4. MRSP 굴착 루프: local task region·목표높이·덤프모드와 현재 점군을 입력받아 목표높이에 이를 때까지 POA 선택 → dig primitive → dump primitive를 반복한다. POA는 최고점을 향한 선에 오프셋을 주고 높이는 영역 평균으로 정한다.
  5. 굴착·덤프 파라미터화: POA 3축, 관입 깊이·길이, 끌기 길이, 굴착 기울기의 7개 값으로 dig primitive를 만들고, 고정·가변·트럭의 3개 덤프모드와 rigid·regular·loose 종료조건을 선택한다. 토량-버킷 용량 최적화의 구체 목적함수와 파라미터 튜닝값은 원문 구현 세부 확인 필요.
  6. BMSP·저수준 제어: LiDAR 점유지도, 현재/목표 2D 차체 자세로 Hybrid A* waypoint를 생성하고 unicycle 모델의 MPC로 추종한다. 팔 primitive는 관절궤적을 PID로, 차체 primitive는 MPC로 제어하며 최종 명령은 lookup table로 유압 입력에 대응시킨다.
  7. 검증: 실차 도랑·파일 제거와 물리 시뮬레이션 대규모 파일 제거에서 자동 분할된 route point 수, 작업 완료시간, 목표형상 달성을 확인한다. 형상 오차의 정량 지표는 원문 구현 세부 확인 필요.

4) 토의

2021 · TaskNet: 신경망 기반 계층형 작업계획

1) 대표그림

2021-tasknet-model-architecture

그림 설명: 전역 tile 단위의 차체/굴착 하위작업을 정하는 TEM과 지역 cell 단위의 접근·굴착 primitive를 정하는 CEM, 그리고 차체 PATH 모듈의 연결 구조. 원문 Figure 2, PDF p.4.

2) 요약

3) 방법

  1. 목표·관측 표현: LiDAR 점군을 현재-목표 높이차 격자 $G$로 만들고 허용오차 $\epsilon$ 이내이면 완료로 정의한다. 전역 격자는 장비 도달영역 크기의 tile, 지역 격자는 버킷 폭 크기의 cell로 축소·절단한다.
  2. 시연 데이터 생성: 규칙 기반 시뮬레이터로 사람의 전체 순회·비작업 tile 건너뛰기와 지역 최고 cell 우선 굴착 시퀀스를 합성하고, 실제 운전자 시퀀스로 미세조정한다. 합성-실데이터 비율과 미세조정 epoch는 원문 구현 세부 확인 필요.
  3. TEM 전역계획: 현재 tile map과 최근 이동 이력을 입력해 move_to_tile 또는 excavate_tile, 이동방향/지역 높이맵 사양, 종료 여부를 각각 decoder로 예측한다. 이동 하위작업이면 PATH 모듈이 차체 primitive와 경로를 만든다.
  4. CEM 지역계획: 선택된 지역 cell map과 이전 approach 지점을 입력해 다음 approach/dig primitive, 국소 좌표/깊이 사양, 하위작업 종료 여부를 예측하며 관측을 갱신해 반복한다.
  5. 모델·학습: 각 planning core는 kernel 3·stride 1·padding 1의 CNN 2층과 ReLU, kernel 2·stride 1 max-pooling으로 구성하고, sub-task/primitive·사양·종료 decoder는 128-unit 완전연결층 2개를 쓴다. 세 출력의 cross-entropy를 가중합해 지도학습하며 TEM/CEM core 가중치는 공유하지 않는다.
  6. 동작 실행: TaskNet 출력 primitive를 팔 궤적 최적화와 차체 grid-search 경로계획에 넘기고, 관절·차체 제어기가 실행한다. 전체 시퀀스를 일괄 생성하거나 매 primitive마다 새 관측으로 온라인 실행할 수 있다.
  7. 평가: 3.5톤 모델의 입자 기반 3D 물리 시뮬레이터에서 파일·도랑·복수 블록 작업을 폐루프로 평가한 뒤, LiDAR·IMU를 단 49톤 drive-by-wire 굴착기에서 실제 적재를 수행한다. 실차에서 TaskNet 추론은 1초 미만, approach는 약 2초, dig·swing·dump는 합계 약 22초로 보고됐다.

4) 토의


[!summary] B. 환경인지·자율주행 먼지 제거, 의미·기하 주행성 지도, 영상-관성 지형 분류를 다룬다.

2021 · 폐루프 심층망 기반 영상 제진

1) 대표그림

baidu-2021-image-dedusting-fig2 그림 설명: 먼지·안개 영상을 하나의 인코더로 압축한 뒤 세 디코더가 대기광 $A$, 깨끗한 영상 $I_c$, 투과도 $T$를 동시에 복원하고, Dense Feature Fusion·Residual Group·SOS boosting을 거치는 전체 네트워크 구조다. 원문 Figure 2, PDF p.3.

2) 요약

3) 방법

  1. 데이터 준비: 안개 제거는 RESIDE 실외 hazy/clean 쌍 9,000개를 사용하고, 먼지 제거는 동일 장면의 실제 dust/dust-free 쌍 1,000개를 별도로 수집한다.
  2. 증강: 각 영상쌍을 0.5-1.0 범위의 임의 스케일 세 가지로 리사이즈하고, 256×256 패치를 무작위 crop한 뒤 수평·수직 flip을 적용한다.
  3. 인코더: 첫 합성곱은 11×11, 나머지 합성곱·역합성곱은 3×3 커널을 사용한다. 인코더 안에 Dense Feature Fusion과 Conv-ReLU-Conv 구조의 residual block 3개를 배치해 다중 해상도 특징을 보존한다.
  4. 세 갈래 복원: 공유 특징을 대기광·깨끗한 영상·투과도용 디코더로 분기하고, 역합성곱 업샘플링, LReLU(negative slope 0.2), SOS boosting, decoder-side Dense Feature Fusion으로 각 성분을 출력한다.
  5. 폐루프 학습: 깨끗한 영상 정답과 $I_c$ 사이의 손실, 그리고 $A,I_c,T$로 재구성한 입력과 원 입력 사이의 손실을 각각 가중치 0.5로 결합한다. 다만 수식은 L1을, 구현 절은 MSE를 적어 손실의 정확한 구현은 원문 구현 세부 확인이 필요하다.
  6. 최적화·평가: Adam으로 100 epoch, batch 16, β₁=0.9, β₂=0.999, 10 epoch마다 학습률 감쇠 0.75를 사용하고 PSNR·SSIM으로 평가한다. 초기 학습률은 PDF에 104로 인쇄되어 있어 원문 구현 세부 확인이 필요하다.

4) 토의

2022 · TNS: 굴착기 지형 주행성 지도화·내비게이션

1) 대표그림

baidu-2022-tns-fig2 그림 설명: RGB 의미분할을 3D 점군에 투영하는 상단 경로와 LiDAR 점군에서 경사·단차를 계산하는 하단 경로를 융합하여 주행성 grid map과 planning용 occupancy grid map을 만드는 TNS 인지 모듈이다. 원문 Figure 2, PDF p.3.

2) 요약

3) 방법

  1. 플랫폼·보정: XCMG XE490D에 Livox-Mid100 LiDAR, FOV 56.8°·pitch 30.3° RGB 카메라, GPS-RTK를 장착하고 카메라-라이다 외부·내부 보정과 시간 동기화를 수행한다. 계산은 i7-10875H, RAM 16 GB, RTX 2060 6 GB 노트북에서 수행했다.
  2. 의미분할 학습: 건설 현장 영상 669장을 7개 주행 관련 클래스로 픽셀 단위 주석한 CWT를 만들고, MMSeg 기반 Fast-SCNN을 240K iteration 학습한다. 세부 optimizer·batch·증강은 원문 구현 세부 확인이 필요하다.
  3. 시맨틱 지도화: 타임스탬프로 RGB와 점군을 대응시키고 보정행렬로 각 LiDAR 점을 분할 mask에 투영한다. 0.2 m elevation-grid 각 셀에는 최근 점들의 평균 높이, 갱신 시각, 경사, 단차, 의미 레이블을 저장한다.
  4. 기하 주행성: 8-neighborhood PCA로 표면 법선과 경사를 구하고, 7×7 이웃(약 1.4 m)의 최대 높이차로 단차를 구한다. XE490D 기준 $s_{cri}=35°$, $s_{safe}=10°$, $h_{cri}=0.35\,m$, $h_{safe}=0.10\,m$를 적용하되, 중간 구간 가중치 α₁·α₂의 실제 값은 원문 구현 세부 확인이 필요하다.
  5. 의미-기하 융합: rock·excavator·obstacle·water는 금지, flat은 안전으로 우선 지정하고, 나머지는 경사·단차 기반 연속 점수를 쓴다. 그 결과를 2D occupancy map으로 변환한다.
  6. 계획·제어: Hybrid A*의 노드 확장 비용에 두 트랙이 밟는 영역과 트랙 사이 영역의 평균 주행성 비용을 추가한다. 경로는 heading/cross-track error 기반 좌우 트랙 PI 추종 제어기와 종방향 PI 속도 제어기로 실행한다.
  7. 검증: CWT 분할 성능, RELLIS-3D map mAcc·AUC·MSE, 90회 이상 무작위 start-goal의 계획 성공률, 실제 직선·일반 회전·급회전 추종오차, 모듈별 runtime을 순서대로 측정한다.

4) 토의

2022 · TTM: 비정형 환경 굴착기 주행성 지도화

1) 대표그림

baidu-2022-ttm-fig2 그림 설명: RGB-Fast-SCNN 의미 경로와 LiDAR 경사·단차 경로가 3D 셀 단위에서 결합되어 연속 주행성 지도와 Hybrid A*용 점유 지도를 만드는 TTM 전체 처리 흐름이다. 원문 Figure 2, PDF p.4.

2) 요약

3) 방법

  1. 수집·라벨링: 건설 현장 약 30분 영상에서 1920×1080 RGB 669장을 뽑아 flat, bumpy, mixed water/dirt, water, rock pile, obstacle, excavator의 7개 클래스로 주석하고 9:1로 분할한다.
  2. 분할망 학습: Fast-SCNN을 GTX 1080 두 장에서 240K iteration, SGD(lr 0.12, momentum 0.9), polynomial decay(power 0.9)로 약 이틀 학습한다. batch·crop·weight decay는 원문 구현 세부 확인이 필요하다.
  3. 센서 융합 전처리: XCMG XE490D의 Livox-Mid100, HIK RGB 카메라, RTK를 시간 동기화하고, 보정행렬로 2D 분할 레이블을 각 3D 점에 투영한 뒤 셀 내 다수결 의미 레이블을 구한다.
  4. 기하 특징 계산: 0.2 m grid에서 8-neighborhood PCA로 경사를, 7×7 이웃의 최대 높이차로 단차를 구한다. $s_{cri}=30°$, $s_{safe}=10°$, $h_{cri}=0.35\,m$, $h_{safe}=0.10\,m$, α₁=α₂=0.5로 연속 $T_{geo}$를 계산한다.
  5. 주행성 융합·후처리: rock·excavator·obstacle·water는 0, flat은 1, 나머지는 $T_{geo}$를 사용한다. 작은 금지영역은 평균 점수, 높이, x/y span이 트랙 간격 절반보다 작은지를 함께 검사해 제거한다.
  6. 계획·출력: occupied threshold 0.6, 최대 단차 0.35 m, 트랙 간격 2.75 m로 occupancy grid를 만들고 Hybrid A* 경로를 생성해 motion controller에 보낸다.
  7. 평가: 분할 mIoU/accuracy, 모듈 runtime, 기하 단독법 대비 map 연결성·장애물 검출, 무작위 start-goal planning 성공률을 측정한다.

4) 토의

2022 · VINet: 시각·관성 기반 미지 지형 분류와 적응 주행

1) 대표그림

baidu-2022-vinet-fig2 그림 설명: 예상 경로의 영상 patch는 EfficientNet-B0로, IMU와 PWM 시퀀스는 attention 기반 denoising으로 처리한 뒤 두 특징을 shared embedding에서 정렬·융합하여 지형-제어기 레이블을 출력하는 VINet 구조다. 원문 Figure 2, PDF p.3.

2) 요약

3) 방법

  1. 데이터·레이블: 11개 표면에서 1280×720 영상 4,923장과 30 Hz 관성 시퀀스를 수집한다. 알려진 지형마다 약 1,500개의 {PWM $S$, 선·각속도 $u$} 쌍으로 GP를 맞추고 NMPC를 수동 tuning한 뒤, 미지 지형은 추종 MSE가 가장 낮은 알려진 제어기의 레이블로 지정한다.
  2. 입력 정렬: 현재 속도·heading으로 예상 경로의 128×128 RGB patch를 뽑고, 그 영역을 주행할 때의 6축 IMU와 모터 PWM을 길이 $D=60$으로 정렬한다. attention 상위 $f_s=5/6$ 시점만 유지한다.
  3. 영상 branch: ImageNet-pretrained EfficientNet-B0로 patch를 1,280-channel 7×7 특징까지 추출한 뒤 flatten, 두 개의 linear layer, batch normalization, dropout으로 256 또는 512차원 $F_{img}$를 만든다.
  4. 관성 branch: $H=[I_{imu};S]$에 self-attention을 적용하고 attention map 대각값이 낮은 시점을 제거한 뒤 linear layer·batch normalization·flatten으로 동일 차원의 $F_{imu}$를 만든다.
  5. 융합·손실: 채널별 learnable weight로 두 특징을 융합한다. 각 branch와 최종 head에 cross-entropy를 걸고 $F_{img}$와 $F_{imu}$ 사이 MSE로 shared embedding을 정렬한다. 각 손실의 상대 가중치와 FC/dropout 세부는 원문 구현 세부 확인이 필요하다.
  6. 학습: Adam(lr 0.0003, exponential decay 0.95), batch 128, 200 epoch, RTX 2080 Ti 한 장을 사용한다. 미지 지형 실험의 최고 설정은 ImageNet pretraining, 8차원 IMU+PWM 입력, shared dimension 256이다.
  7. 적응 제어: Jetson AGX Orin에서 VINet이 지형 레이블을 출력하면 그 레이블의 NMPC와 RBF-kernel GP(PWM-속도 변환)를 즉시 선택한다. RPLiDAR-A3는 경로추종 위치 정보, C920은 영상, 3DM-GX5-25는 IMU를 제공한다.

4) 토의


[!summary] C. 동작·궤적 계획 기구학적 도달성, 토양 상호작용 제약, 연속 궤적 최적화와 모방학습 결합을 다룬다.

2019 · 굴착기 동작계획을 위한 Compact Reachability Map

1) 대표그림

2019_compact_reachability_map_fig4

그림 설명: 굴착 평면의 각 격자에 버킷의 도달 가능한 자세 방향을 저장하고, 침투·인양·전이 동작에 적합한 작업영역을 색으로 구분한 2차원 R-map이다. 원문 Fig. 4, PDF p.3.

2) 요약

3) 방법

  1. 입력 준비: 굴착기 CAD/링크 치수와 관절 한계, 버킷 형상, 현재 지형 height map, 목표 지형, 접근점 $P_a$를 준비한다. 실제 센서로 height map을 만드는 절차는 논문에 없으므로 원문 구현 세부 확인 필요.
  2. R-map 생성: 굴착 평면을 격자로 나누고, 각 격자의 내접원에 균일하게 배치한 버킷 자세에 역기구학을 적용한다. 해가 있는 헤딩을 하나 이상의 도달 가능 구간 $[\theta]$로 저장한다.
  3. 직선 이동 능력 계산: 각 격자와 샘플 이동방향 $\alpha$에서 다음 격자로 진행하며 $[\theta]$의 교집합이 빌 때까지 추적한다. 구간 차집합으로 헤딩별 최대 이동거리 $L$을 구해 $CT_i={(\alpha_j,L_j)}$로 등록한다.
  4. 침투·드래그 계획: 지표면 법선과 정렬되고 버킷 면이 토양을 누르지 않는 침투 방향/헤딩을 R-map에서 고른다. 버킷 경로 위 토량으로 굴착량을 근사해 침투·드래그 길이를 정하고, 도달 구간 안에서 헤딩 변화가 작고 단조롭게 회전하도록 보간 최적화를 푼다.
  5. 회전·인양 계획: 토사 유실을 줄이도록 인양 방향과 버킷 헤딩을 수직 부근으로 제한한다. 버킷을 감싸는 삼각형과 지면 사이 최소 간격 제약으로 회전 시작점 높이를 정한 뒤 드래그 종료점에서 인양 경로를 탐색한다.
  6. 출력·평가: 각 버킷 자세를 관절 구성으로 변환해 궤적을 실행하고, 매 굴착 뒤 갱신된 height map을 다음 계획에 넣는다. 계획시간, 버킷 적재, 목표 height map 오차와 기구학적 도달성을 평가한다.

4) 토의

2020 · 시간 가변 최소 토크 궤적 최적화

1) 대표그림

2020_time_variable_trajectory_fig3

그림 설명: 소수의 최적화 keypoint와 그 사이의 보간 waypoint, swept volume, 지중 깊이, 버킷 헤딩 제약을 한 그림에 나타낸 궤적 최적화 구성이다. 원문 Fig. 3, PDF p.7.

2) 요약

3) 방법

  1. 입력 준비: 굴착기 질량·관성·기구 치수, 관절/액추에이터 토크·속도 한계, 버킷 형상, 지표면, 목표 swept volume, 토양 계수 $\rho,K_p,K_v,K_s$, R-map으로 얻은 초기 궤적을 준비한다.
  2. 시간 가변 궤적 표현: 관절 keypoint $k={k_i}$와 구간시간 $T={T_i}$를 최적화 변수로 둔다. 각 구간을 $\Delta t$ 간격으로 선형 보간해 속도·가속도와 waypoint 수 $Q_i=T_i/\Delta t$를 계산한다.
  3. 굴착 제약 구성: 진입-침투-드래그-회전-이탈 keypoint로 만든 사각형 면적에 버킷 폭을 곱해 swept volume 범위를 설정한다. 버킷 헤딩과 끝단 이동방향의 허용 반평면·단조 회전, 지중 깊이, 관절 속도와 토크 한계를 부과한다.
  4. 토양력 계산: 지중 버킷 면을 작은 요소로 나누고, 요소 깊이의 정수압 $\rho gh$, 법선 속도 저항, 접선 마찰을 계산한다. 모든 요소의 힘·모멘트를 버킷 끝단 좌표계에 합산한다.
  5. 역동역학·최적화: 합산 외력을 포함한 Lie-group 재귀 역동역학으로 각 waypoint의 관절 토크를 구한다. TrajOpt의 SQP로 $\sum|\tau|^2$를 최소화하며 keypoint와 구간시간을 함께 갱신한다. 세부 수렴 기준과 하이퍼파라미터는 원문 구현 세부 확인 필요.
  6. 출력·평가: 최적 관절궤적과 시간 프로파일을 단순 궤적 제어기로 AGX에 입력하고, 제약 만족, swept volume, 토크 곡선 일치, 총 시간·수렴비용, 토양별 궤적 변화를 비교한다.

4) 토의

2021 · 굴착 궤적 생성을 위한 최적화 프레임워크

1) 대표그림

2021_optimization_framework_fig4

그림 설명: 고정된 침투-드래그-스쿠핑 단계 대신, 연속 경로에서 버킷의 이동방향(파랑)과 헤딩(빨강)을 단조롭게 회전시키고 서로의 반평면 관계로 유효 굴착을 규정하는 핵심 기하 제약이다. 원문 Fig. 4, PDF p.4.

2) 요약

3) 방법

  1. 입력 준비: depth point cloud로 만든 terrain height map, 로봇 순기구학과 관절 속도·가속도 한계, 버킷 체적, 시작/종료점, 목표 bucket filling factor $K_{bf}$, 목적함수(시간·관절변위·토크 중 선택)를 준비한다.
  2. 궤적 변수화: 관절 waypoint $Q={q_i}$와 시간간격 $T={\Delta t_i}$를 변수로 두고, 양 끝 구간은 quintic, 내부는 cubic spline으로 보간해 2차 미분 가능한 $s(t)$를 만든다.
  3. 순간운동 제약: 시작·끝 버킷 끝점을 지표면에 고정하고 진입/이탈 방향을 지표면 법선으로 제한한다. 전체 경로에서 이동방향과 헤딩이 단조 회전하고, 이동방향이 헤딩의 허용 반평면 안에 있으며, 마지막 헤딩이 위쪽을 향하게 한다.
  4. 굴착량 제약: 경로와 지표면 사이의 x-z swept area를 사다리꼴 적분하고 이를 y축의 여러 단면에 대해 적분한다. $K_{bf}=V_{swept}/V_{bucket}$가 지정 범위에 들도록 제약한다.
  5. 최적화 실행: spline 중간점을 균일 샘플링해 모든 경로 제약을 변수 $Q,T$의 제약으로 바꾸고 선택한 비용을 최소화한다. 실제 사용한 솔버·초기화·정지조건은 원문 구현 세부 확인 필요.
  6. 출력·평가: 최적 관절·시간 궤적을 UR5에서 실행한다. 매 굴착 전 height map을 갱신하고, 힘-토크 센서로 적재중량을 재며, $K_{bf}$-실제 중량 관계, 최적 궤적 길이/시간, 수렴 성공률과 반복 작업의 잔여 지형을 평가한다.

4) 토의

2022 · 모방학습과 모델 최적화를 결합한 궤적 계획

1) 대표그림

2022_imitation_model_integrated_fig1

그림 설명: 지형 상태에서 IL actor가 만든 궤적 형상을 사람이 선별하고, STOMP가 모델·규칙으로 실행 가능하게 보정한 뒤 실행·평가 데이터를 다시 학습셋에 넣는 전체 폐루프이다. 원문 Fig. 1, PDF p.2.

2) 요약

3) 방법

  1. 데이터·입력 수집: Azure Kinect point cloud를 grid map으로 바꾸고 같은 시점의 지형 이미지에서 재료 라벨/특징을 얻는다. POA와 전문가 궤적을 수집하되 카메라 보정, 분류기 구조·학습조건은 원문 구현 세부 확인 필요.
  2. 상태 특징 생성: POA에서 굴착기 베이스로 이어지는 굴착 관련 영역을 $n$개 단면으로 나누고, 각 단면에서 POA 대비 grid 높이 차를 합산해 형상 특징 $s_g\in\mathbb{R}^n$을 만든다. 재료 특징 $s_m$과 연결해 상태 $s={s_g,s_m}$를 구성한다.
  3. IL actor 학습: 전문가 궤적에서 시간축으로 균등한 $m$개 버킷 자세(베이스까지 평면거리, z, 버킷 각도)를 선택해 행동 $a\in\mathbb{R}^{3m}$으로 만들고, 시연과 예측 사이 MSE를 최소화한다. 네트워크 층수와 $n,m$ 값은 원문 구현 세부 확인 필요.
  4. 초기 궤적 판정: 새 상태의 actor 궤적을 사람이 확인한다. 부적합하면 사람이 직접 시연하고, 적합하면 STOMP의 초기·참조 궤적으로 사용한다.
  5. STOMP 보정: 관절공간에서 잡음 궤적을 샘플링하고 순기구학으로 버킷 자세를 계산한다. smoothness, 목표 raw volume, 굴착영역 밖 거리의 지수 penalty, IL 초기궤적 이탈비용을 합쳐 반복 갱신한다.
  6. 실행·재학습·평가: 최적 궤적을 Franka에서 실행하고 인간 평가 $r\in[0,10]$와 $(s,a,r)$를 시연셋에 추가한다. 평가가 높은 궤적을 importance sampling해 actor를 재학습하며, 굴착중량 평균·표준편차·계획 성공률을 pure IL/pure STOMP와 비교한다.

4) 토의


[!summary] D. 학습·제어·계측 강체 굴착 학습, 버킷 체적 추정, 차량 추종제어, 장기 굴착 RL을 다룬다.

2021 · 군집 강체의 학습 기반 굴착 계획

1) 대표그림

baidu-2021-rigid-objects-excavation-fig3

그림 설명: 장면 점군과 6차원 굴착 궤적을 7채널 voxel-grid로 결합하고 ResNet3D-18로 굴착 성공확률을 예측하는 excavation-voxel-net 구조. 원문 Fig. 3, PDF p.4.

2) 요약

3) 방법

  1. 장면·궤적 정의: RGB-D 카메라 점군을 tray 좌표계로 변환·범위 필터링하고, 굴착 궤적을 공격점 $(x,y)$, 공격각 $\alpha$, 관입깊이 $d$, 끌기길이 $l$, 닫힘각 $\beta$의 6개 변수로 둔다. $z$는 높이맵 표면에서 얻고, 궤적은 공격-관입-끌기-닫기-들기의 5단계로 보간한다.
  2. voxel 입력 생성: 굴착 공간을 $64\times64\times32$, 해상도 0.01 m의 occupancy voxel-grid로 만든다. 각 궤적 변수는 동일 크기의 grid로 타일링해 장면 1채널과 결합한 7채널 입력을 구성한다.
  3. 성공 예측기 학습: 3D로 확장한 ResNet-18이 1,000차원 특징을 만들고, FC 512-256-128 및 sigmoid가 성공확률을 출력한다. PyBullet·UR5·450 cm³ 버킷으로 휴리스틱 궤적 데이터를 모아 cross-entropy로 학습한다. 이 로컬 PDF에 포함되지 않은 보충 Appendix의 데이터 수·세부 학습 설정은 원문 구현 세부 확인 필요다.
  4. CEM 계획: 휴리스틱 궤적 256개로 6차원 Gaussian을 초기화하고, 5회 반복마다 256개를 샘플링해 예측확률 상위 64개로 분포를 갱신한다. 마지막 분포에서 64개를 뽑아 성공확률이 가장 높으면서 IK와 공격점 범위를 만족하는 궤적을 선택한다.
  5. 실행: 선택한 작업공간 궤적을 IK로 관절 waypoint로 바꾸어 위치제어기로 실행한다. 실제 검증은 Azure Kinect와 3D 프린트 버킷을 장착한 Franka Panda에서 수행하며, 관입 중에는 걸림을 줄이기 위해 waypoint마다 버킷을 수평으로 2 cm씩 번갈아 움직인다.
  6. 평가: 시뮬레이션은 방법별 1,000회, 실제는 방법별 25회 굴착을 수행하고 굴착 체적·성공률·유효 궤적률·계획시간을 비교한다. 성공 기준은 134 cm³, 즉 버킷 체적의 30%다.

4) 토의

2021 · LiDAR 기반 버킷 적재 체적 실시간 추정

1) 대표그림

baidu-2021-lidar-bucket-volume-fig2

그림 설명: LiDAR·버킷 자세 입력에서 다중 프레임 융합, 빈 버킷 모델 정합, 높이맵 보간, 체적 계산으로 이어지는 전체 온라인 파이프라인. 원문 Figure 2, PDF p.3.

2) 요약

3) 방법

  1. 센서·기준 모델 준비: Livox Mid100의 3D 점군과 ROS TF의 버킷 자세를 입력으로 사용한다. 작업 전 빈 버킷을 스캔하고 PCA로 축 정렬한 뒤 수동 미세조정하여 기준 모델과 초기변환을 저장한다.
  2. 동적 버킷 점군 구성: 매 프레임에서 현재 자세 주변 반경 1.5 m로 버킷 점군을 분할하고, 약 10프레임을 각 자세의 역변환으로 같은 좌표계에 누적한다.
  3. 노이즈 제거·정합: 0.01 m voxel downsampling과 통계적 이상치 제거(이웃 100개, 표준편차 배수 0.8)를 정합용 점군에 적용한다. normal 반경 0.025 m, 최대 대응거리 0.03 m, RMSE 임계값 0.01 m로 ICP를 수행해 경사센서 기반 초기변환을 보정한다.
  4. 높이맵 생성: passthrough filter로 실제 점군에서 버킷 부분을 대부분 제거하고 적재물 점군을 남긴다. 빈 버킷 모델과 적재물 점군을 각각 0.01 m 격자의 $z$ 높이맵으로 변환한다.
  5. 성긴 영역 보간: 행·열 경계점과 주변 유효점 존재 여부로 보간영역을 고른다(탐색영역 $8\times8$ pixel). 각 결측 셀은 $5\times5$ 이웃의 유효 높이 평균으로 채운다.
  6. 체적 계산·출력: 두 높이맵에서 동시에 유효한 셀의 높이차 $d=h_s-h_m$를 구해 $V=\sum l_{grid}^2d$로 적분하고, 사전 산정한 만재 체적 1.71 m³ 대비 충전율로 변환한다.

4) 토의

2022 · 휠로더 궤적 추종을 위한 LPV-MPC

1) 대표그림

baidu-2022-wheel-loader-lpv-mpc-fig3

그림 설명: 비선형 MPC의 오프라인 궤적, LPV-MPC의 조향률 명령, 속도제어기의 구동 명령, 차량 상태 피드백 관계를 한눈에 보여주는 계획·제어 구조. 원문 Figure 3, PDF p.6.

2) 요약

3) 방법

  1. 상태·센서 정의: 저속에서 tire slip과 횡력을 무시한 bicycle kinematic model을 사용한다. 상태는 $[x_r,y_r,\theta,\gamma]$ 또는 $[x_f,y_f,\theta,\gamma]$, 입력은 속도 $v$와 굴절각속도 $\dot\gamma$다. 실제 적용 시 위치는 GPS, heading은 IMU, 굴절각은 encoder로 측정한다.
  2. 오프라인 NL-MPC 계획: 적재점·하역점의 시작/종료 pose와 pile·truck 사각 장애물을 넣고, 입력 크기와 변화율을 최소화하면서 상태·입력·안전거리·최대 굴절각을 만족하는 Y자 궤적을 계산한다. 논문 설정은 $T_s=0.2$ s, horizon $N=100$, $\gamma_{max}=0.40$ rad다.
  3. LPV 모델 생성: nominal 궤적의 각 $(x^,u^)$에서 비선형 모델을 1차 Taylor 전개하고, Jacobian의 비선형항을 scheduling parameter $\rho$로 묶어 예측구간의 $A(\rho),B(\rho)$ 행렬열을 만든다.
  4. 온라인 LPV-MPC: 상태·입력 편차 $x_e=x-x^$, $u_e=u-u^$에 대해 추종오차·제어노력의 이차비용과 제약을 갖는 receding-horizon QP를 푼다. 전진 구간은 전차체, 후진 구간은 후차체 좌표를 쓰고 적재·하역·turning point에서 전환한다.
  5. 명령 실행: LPV-MPC의 $\dot\gamma$는 조향에, $v_{ref}$는 Stanley 계열 속도제어기에 보내 acceleration/deceleration/gear 명령으로 바꾼다. 속도제어기 상세는 논문 범위 밖이므로 원문 구현 세부 확인 필요다.
  6. 재현 평가: Matlab/Simulink에서 YALMIP을 통해 LPV/LTI QP는 SeDuMi, NL-MPC는 fmincon으로 풀고 AGX Dynamics 휠로더 모델과 연동한다. 모든 추종 MPC는 $T_s=0.2$ s, $N=10$, 5 Hz이며 시작점에 0.5 m 횡오차를 넣어 추종오차와 계산시간을 비교한다.

4) 토의

2022 · 기하 표현을 이용한 연속 굴착 강화학습

1) 대표그림

baidu-2022-excavation-rl-geometry-fig3

그림 설명: PointNet++ encoder가 장면 점군의 지역 normal·curvature와 전역 object count를 함께 학습해 280차원 굴착 표현을 만드는 구조. 원문 Fig. 3, PDF p.4.

2) 요약

3) 방법

  1. 표현학습 데이터: PyBullet에서 1-7 cm 크기의 무작위 convex object 100k개를 만들고 장면별 점군을 수집한다. 약 35,000개 장면의 점군을 FPS로 7,000점에 맞춘 뒤 PCL로 normal·주곡률을 계산하고 simulator object count를 사용한다.
  2. 기하 encoder 학습: PointNet++ feature extraction을 1,024-256-64-16-8점으로 줄이며 특징차원을 128-128-128-64-32로 만든다. 마지막 8개의 $(3D 위치+32D 특징)$을 이어 280차원 표현을 얻고, decoder는 normal·curvature, 별도 FCL은 object count를 예측한다. 총손실은 $10L_{normal}+L_{curv}+L_{obj}$이며 batch 16, Adam, 초기 학습률 0.01, decay $10^{-4}$, 10 epoch로 학습한다.
  3. PPO 정책 학습: encoder 가중치는 고정하고 256-64 ReLU 정책망만 업데이트한다. 6개 simulator를 병렬 실행해 768 sample마다 갱신하고, planning failure에는 -1 reward, discount 0.99를 사용한다. 200-300개 물체로 만든 장면에서 episode당 10회 굴착하며 총 30,000 sample을 학습한다.
  4. 행동을 궤적으로 변환: 정책은 tray 좌표계의 $(x,y,\alpha)$만 출력한다. 공격점 $z$는 height map에서 얻고 최대 끌기길이·닫힘각·들기높이는 고정한다. 시뮬레이션은 $d=0.1$ m, 최대 끌기 0.3 m, $\beta=135^\circ$, 들기 0.4 m를 사용한다.
  5. 계획·실행: 5단계 작업공간 궤적을 100 Hz 관절 waypoint로 이산화하고 IK·self-collision·tray collision을 검사한다. 유효하면 Franka의 joint impedance controller(강성 100 Nm/rad)에 open-loop로 보낸다.
  6. 실제 검증: Azure RGB-D와 학습에 없던 목재 블록 282개를 사용하며, episode당 5회씩 5 episode를 수행한다. 실제 로봇의 힘 한계 때문에 관입깊이는 0.07 m, 최대 끌기는 0.1 m로 줄이고, 덤핑한 물체의 질량과 추정 밀도로 체적을 계산한다.

4) 토의


[!summary] E. 안전·실환경·종단간 시스템 안전 모니터링, 장시간 실환경 배치, 다중 작업 통합, action chunking 기반 종단간 제어를 다룬다.

2021 · 영상 기반 굴착기 작업·안전 모니터링

1) 대표그림

baidu-2021-vision-safety-pipeline-fig1

그림 설명: 현장 감시 영상에서 작업영역 분할·건설장비 검출·굴착기 자세 추정·행동 인식을 거쳐 안전 경보와 생산성 분석으로 연결되는 전체 파이프라인. 원문 Figure 1, PDF p.2.

2) 요약

3) 방법

  1. 고정 감시 카메라에서 굴착기·로더가 포함된 영상을 수집한다. 논문 데이터는 1920×1080, 25 fps의 1시간 영상이며, 검출·자세·영역 분할용 이미지 601장과 digging/dumping/swinging 행동 클립 102개를 구축했다.
  2. MMDetection의 Faster R-CNN(ResNet-50/152-FPN)을 학습해 장비 종류와 바운딩 박스를 얻고, Soft-NMS로 중복 박스를 제거한다. 학습률·배치 크기·증강 설정은 원문 구현 세부 확인 필요.
  3. 검출된 굴착기 박스를 MMPose의 SimpleBaseline(ResNet)에 입력해 bucket end 2점, bucket joint, arm joint, boom cylinder, boom base, body 4점의 총 10개 핵심점을 추정한다. 부품 중심보다 모서리를 주석해 정확도를 높였다.
  4. MMSegmentation의 ResNet 기반 분할망으로 digging area와 dumping area를 구분하고, 핵심점이 어느 영역에 있는지 결합한다. 분할 클래스 정의와 네트워크 세부 구성은 원문 구현 세부 확인 필요.
  5. 안전 모니터에는 연속 프레임의 body 1-4 핵심점 평균 이동량과 bucket/arm 위치를 이용한 상태 규칙을 적용한다. 몸체 이동 임계값과 이전 상태로 digging, swing-to-dump, dumping, swing-to-dig, idle을 판정하며, 임계값 수치는 원문 구현 세부 확인 필요하다. 생산성 분석에는 SlowFast를 별도로 학습해 영상 행동 라벨을 생성한다.
  6. 굴착기와 다른 장비가 동일한 digging/working 영역에 검출되면 경보를 내고 자율장비를 일시 정지한다. 생산성은 연속 프레임 행동 라벨의 지속시간과 이웃한 digging 시작점 사이의 주기, 제조사 버킷 용량, 버킷 충만율을 결합해 계산한다.
  7. 이미지는 80% 학습·20% 검증/시험으로 나누고 COCO AP/OKS와 행동 top-1 정확도로 평가한다. 논문은 NVIDIA M40 24 GB에서 각 모듈 학습에 약 6시간이 걸렸고 검출·자세·행동 인식 속도가 각각 5·2·1 fps였다고 보고한다.

4) 토의

2022 · 실환경 배치형 자율 굴착기 시스템

1) 대표그림

baidu-2022-aes-real-world-overview-fig1

그림 설명: LiDAR·카메라·RTK·경사·압력 센서 입력부터 perception-task planning-motion planning-control 및 운영 GUI까지 이어지는 AES의 하드웨어·소프트웨어 계층. 원문 Figure 1, PDF p.1.

2) 요약

3) 방법

  1. CAN 버스 drive-by-wire가 가능한 유압 굴착기에 RTK, 관절 경사계, LiDAR, RGB 카메라를 장착하고 비상시 인간이 제어권을 회수하는 fallback을 둔다. 압력 센서까지 포함한 전체 입력 계층은 Figure 1에 제시되지만 센서 모델·장착 좌표·보정법은 원문 구현 세부 확인이 필요하다.
  2. 모든 기능을 ROS 노드로 병렬 실행한다. 인지 노드는 장애물·지형·재질·덤프트럭을 추정하고, 계획 노드는 팔/베이스 궤적을 만들며, 제어 노드는 이를 CAN 하드웨어 명령으로 변환한다.
  3. coarse-to-fine 인지는 먼저 분진 제거 영상과 재질 인식으로 stone/puddle/pipe 후보 영역을 좁힌 뒤 2D 검출·분할을 수행하고, 해당 마스크와 LiDAR 깊이를 융합해 3D 장애물 박스를 맞춘다. 분진 제거망은 공유 encoder와 대기광·clean image·transmission map의 3개 decoder 및 clean/reconstruction loss를 사용하지만 정확한 학습 설정은 원문 구현 세부 확인이 필요하다.
  4. LiDAR-카메라 의미·기하 정보를 융합해 고도/장애물/재질 기반 traversability map을 만든다. 최대 등판각, 차체 폭, 계산 예산을 반영해 통과 불가능 영역을 먼저 배제하고 나머지 영역의 기하·의미 가중치를 조정해 주행 궤적을 계획한다.
  5. high-level task planner가 이동 목표와 굴착 구역을 선택하고, MRSP(material removal sub-task planner)와 BMSP(base move sub-task planner)가 세부 굴착 및 waypoint를 생성한 뒤 motion primitive가 실행 가능한 팔·베이스 동작을 만든다. 개별 비용함수와 탐색 파라미터는 원문 구현 세부 확인이 필요하다.
  6. 계층형 제어기는 bucket end-effector 추종기, 베이스 제어기, 명령 속도를 유압 밸브 명령으로 바꾸는 장비별 lookup table로 구성한다. 실제 현장에서는 컨베이어 처리율에 맞춰 상차 속도를 조절하고 건식·습식 자재 및 야간 운전을 반복 시험한다.

4) 토의

2024 · 건설 자동화용 다중작업 자율 굴착기

1) 대표그림

baidu-2024-aes-construction-modules-fig2

그림 설명: perception-planning-control의 세 축과 3D 위치추정, traversability map, 트럭 검출, 실시간 지형 측정, 작업/경로 계획, 버킷·다관절 제어를 한눈에 정리한 핵심 모듈 구성. 원문 Figure 2, PDF p.2.

2) 요약

3) 방법

  1. 7.5톤 CAN drive-by-wire 굴착기에 RTK-GPS, 관절 경사계, 3D LiDAR, RGB 카메라를 장착한다. traversability와 비상정지는 같은 센서 구성을 갖춘 20톤 굴착기에서도 시험했다. 센서 모델·외부/시간 보정은 원문 구현 세부 확인이 필요하다.
  2. 작업 시작 시 360° LiDAR 스캔을 저장된 전역 점군 지도에 정합해 굴착기 위치를 초기화한다. RGB에서 트럭을 검출한 뒤 해당 LiDAR 점군으로 3D 트럭 자세를 추정하고, LiDAR elevation map과 작업자가 지정한 굴착 구역을 작업 계획 입력으로 사용한다.
  3. 점군·RGB로 실시간 elevation grid를 갱신하며 각 cell에 최신 평균 높이, 갱신 시각, 경사, step height, semantic 정보를 저장한다. 장비의 등판 능력을 벗어난 cell은 비통과로 두고 나머지는 의미·기하 점수를 융합해 traversability map을 만든다.
  4. high-level planner가 이동 위치와 굴착 영역을 정하고, material-removal/base-move sub-task planner가 세부 작업을 분해하며, motion primitive가 팔과 베이스의 실행 궤적을 생성한다. 주행은 Hybrid A*로 곡률을 제한해 연약지반에서 걸리지 않도록 한다. 계획 비용·높이 종료 임계값은 원문 구현 세부 확인이 필요하다.
  5. 트럭 상차에서는 굴착기 기준 45° 방향의 2×3×1 m 굴착 박스와 추정 트럭 자세를 사용한다. 트렌칭에서는 1×1×6 m 영역을 1×1×2 m sub-task로 나누고 인접 구간을 1 m 겹치며, elevation map에서 dig point를 선택해 목표 높이까지 dig-and-dump를 반복한다.
  6. 주행 중 별도 비상정지 노드는 LiDAR scan을 sector로 나눠 지면을 추정하고 높이 임계값으로 양/음 장애물을 분리한 뒤 OctoMap 기반 2D occupancy map을 만든다. 계획 경로와 충분히 큰 장애물이 겹치면 planner와 controller를 즉시 종료한다. 지면·크기 임계값은 원문 구현 세부 확인이 필요하다.
  7. 작업 성공 여부와 함께 버킷 RMS 오차, 트렌치 깊이 오차·완료시간, 주행 횡오차, 정지 거리 및 검출 가능한 장애물 크기로 평가한다.

4) 토의

2024 · ExACT: 행동 청킹 Transformer 기반 종단간 제어

1) 대표그림

baidu-2024-exact-framework-fig1

그림 설명: LiDAR 굴착/덤핑 elevation map, 전방 카메라, 4축 관절 위치를 ExACT에 입력해 미래 action chunk를 생성하고 굴착기에 실행하는 종단간 폐루프 구조. 원문 Figure 1, PDF p.1.

2) 요약

3) 방법

  1. CAN drive-by-wire 21.5톤 굴착기에 boom/stick/bucket 경사계, cabin swing encoder, 3D LiDAR, RGB 카메라, IMU, RTK-GPS와 GPU 컴퓨터를 장착한다. 원격조작기로 인간 시연을 기록한다.
  2. 관측은 swing/boom/stick/bucket의 4차원 관절 위치, 480×640×3 전방 카메라 영상, 굴착 작업일 때 각각 480×640×3인 digging/dumping zone elevation map 두 장으로 구성한다. 두 elevation map은 전체 LiDAR 고도 지도에서 작업 구역을 crop해 만든다.
  3. 10 Hz로 시연을 수집한다. 데이터는 reach 8 episode, dig-dump 12 episode, dig-dump-return 12 episode이며 각 작업에서 한 episode를 시험용으로 임의 선택하고 나머지를 학습에 사용한다. 논문 결과 절의 reach 학습 episode 표기는 분할 설명과 다소 불일치하므로 재현 시 split 목록을 별도 확인해야 한다.
  4. reach와 dig-dump는 4개 유압 valve state를 action으로, return 동작까지 포함한 dig-dump-return은 관절 위치를 action으로 정의한다. ACT의 conditional VAE·Transformer가 매 시점 action chunk를 예측하고, 겹치는 예측을 지수 가중 temporal ensemble로 합쳐 부드러운 실행 명령을 만든다.
  5. 보고된 학습값은 KL divergence weight 10, chunk size 30, learning rate 1×10⁻⁵, 30,000 step이다. encoder 세부·Transformer 층 수·영상 정규화와 augmentation은 원문 구현 세부 확인이 필요하다.
  6. 실차 투입 전 2,661개의 valve-state/joint-velocity 쌍으로 4축 선형식을 적합해 offline simulator를 만든다. 시험 episode의 첫 관절 상태만 실측값으로 두고 이후 관절은 이전 상태와 예측 action으로 전개하며, 카메라·LiDAR 입력은 기록된 시험 episode 데이터를 사용한다.
  7. reach는 valve 명령과 버킷 궤적, dig-dump는 고주파 valve 추종, dig-dump-return은 관절 위치 예측과 전체 작업 완료 여부로 평가한다. 실제 장비 투입 전에는 선형 모델 밖의 지연·dead zone·부하 변화에 대한 안전 검증이 추가로 필요하다.

4) 토의


[!note] 문서 범위 폴더의 기존 요약 자료인 2022-10-12 Baidu.pdf는 형식 참고용으로만 사용했으며, 논문 수 20편에는 포함하지 않았다.