Baidu 자율굴착 논문 카드 요약 2019-2024

Baidu 자율굴착 논문 카드 요약 2019-2024

[!note] 2019 · Compact R-map 동작계획 1) 대표그림

420

2) 요약

굴착기 기구학을 2차원 Compact R-map으로 사전 계산해, 버킷 자세와 직선 이동 가능 거리를 즉시 조회하며 굴착 궤적을 계획

3) 방법

  1. 링크 치수·관절 한계·버킷 형상으로 굴착 평면을 격자화
  2. 각 격자 자세에 역기구학을 적용해 헤딩 구간과 방향별 이동 거리를 저장
  3. 지형과 접근점을 입력해 침투·드래그·회전·인양 경로를 조회하고 관절 궤적으로 변환

4) 토의

[!note] 2020 · 시간 가변 최소 토크 궤적 1) 대표그림

420

2) 요약

관절 keypoint와 구간 시간을 함께 최적화하고 토양 저항을 역동역학에 넣어, 실행 가능한 최소 토크 굴착 궤적을 생성

3) 방법

  1. R-map 초기 궤적과 굴착기 동역학·토양 계수·목표 굴착량을 입력
  2. keypoint 사이를 보간하고 버킷의 지중 운동으로 토양력을 계산해 관절 토크를 산출
  3. 속도·토크·굴착량 제약 아래 토크 제곱합과 작업시간 최적화, 궤적 출력

4) 토의

[!note] 2020 · AES: 위험 환경용 자율굴착기 1) 대표그림

420

2) 요약

비정형·위험 현장의 무인 굴착·적재를 위해 LiDAR·카메라 인지와 시연학습 기반 목표 선택, STOMP 궤적계획을 통합

3) 방법

  1. LiDAR·RGB-D·관절센서로 지형, 재질, 장애물과 덤프트럭 위치를 인식
  2. 높이맵에서 시연학습 모델로 버킷 접촉점과 굴착 거리를 정하고 IRL 비용을 호출
  3. STOMP로 장애물을 피하는 굴착·덤핑 궤적을 만든 뒤 유압 관절제어로 실행

4) 토의

[!note] 2021 · 강체 군집 굴착 계획 1) 대표그림

420

2) 요약

뒤엉킨 강체의 점군과 6차원 굴착 궤적을 voxel로 합치고, ResNet3D 성공예측기와 CEM으로 1회 굴착량이 큰 궤적을 선정

3) 방법

  1. RGB-D 점군을 작업 좌표계로 변환하고 occupancy voxel을 생성
  2. 공격점·각도·깊이·끌기·닫힘을 voxel에 넣어 성공예측기를 학습
  3. CEM으로 후보 궤적을 반복 갱신하고 최상위 유효 궤적을 IK로 실행

4) 토의

[!note] 2021 · 계층형 작업·차체·팔 계획 1) 대표그림

420

2) 요약

도랑·파일 제거 작업을 정차 위치와 국소 굴착영역으로 분해하고 차체 이동과 팔 동작을 연결하는 계층형 계획 구조

3) 방법

  1. 목표 작업영역·높이와 장비 도달범위를 입력해 정차 위치와 국소 굴착영역을 생성
  2. 각 영역의 높이맵에서 굴착점을 정하고 목표높이에 이를 때까지 굴착·덤핑을 반복
  3. 영역 간 경로는 Hybrid A*로 만들고 MPC와 관절제어로 차체와 팔을 순차 실행

4) 토의

[!note] 2021 · 굴착 spline 최적화 1) 대표그림

420

2) 요약

버킷 이동방향·헤딩 관계와 굴착 체적만 제약한 spline 최적화로, 정형화된 단계 없이 짧고 빠른 굴착 궤적을 생성

3) 방법

  1. height map, 시작·종료 자세, 목표 적재율, 관절 한계를 입력
  2. 관절 waypoint와 구간 시간을 spline으로 연결하고 버킷 운동·굴착 체적 제약을 구성
  3. 시간 또는 관절변위를 최소화한 궤적을 실행하고 매 굴착 뒤 height map을 갱신

4) 토의

[!note] 2021 · 영상 기반 작업·안전 모니터링 1) 대표그림

420

2) 요약

감시 카메라 영상에서 장비 검출·굴착기 자세·작업행동을 함께 인식해 충돌 위험과 생산성을 자동 분석

3) 방법

  1. 고정 카메라 영상에서 굴착기·주변 장비와 굴착·덤핑 작업영역을 주석화
  2. Faster R-CNN으로 장비를 검출하고 자세망으로 굴착기 10개 핵심점을 추정
  3. 영역·자세·행동을 결합해 작업상태를 판정하고 동일 작업영역 내 장비에 경보를 발령

4) 토의

[!note] 2021 · 폐루프 영상 제진 1) 대표그림

420

2) 요약

단일 RGB 영상에서 깨끗한 영상·대기광·투과도를 동시에 추정하고 산란 모델로 입력을 재구성해 먼지·안개를 제거

3) 방법

  1. 먼지 또는 안개 영상과 동일 장면의 깨끗한 영상쌍을 수집
  2. 공유 인코더와 세 디코더로 깨끗한 영상·대기광·투과도를 추정
  3. 세 출력을 산란식으로 재합성하고 원 입력과의 오차까지 함께 학습

4) 토의

[!note] 2021 · AES: 실제 적재용 통합 자율굴착기 1) 대표그림

420

2) 요약

장시간 무인 적재를 위해 제진·재질·객체 인지와 학습 기반 목표 선택, 계층형 계획·제어를 실차 시스템으로 통합

3) 방법

  1. LiDAR·카메라·관절센서로 지형을 만들고 재질, 장애물과 덤프트럭 자세를 인식
  2. 높이맵에서 굴착 목표를 고르고 IRL 비용과 장애물 비용으로 팔 궤적을 최적화
  3. 작업영역을 정차 구역으로 나눠 차체를 이동시키고 유압 제어로 굴착·덤핑을 반복

4) 토의

[!note] 2021 · LiDAR 버킷 체적 추정 1) 대표그림

420

2) 요약

LiDAR 점군을 빈 버킷 모델에 정합하고 두 2.5D 높이맵의 차이를 적분해 움직이는 버킷의 적재 체적을 실시간 추정

3) 방법

  1. LiDAR 점군과 관절 자세를 약 10프레임 누적해 버킷 주변 점군을 생성
  2. 자세로 초기 정렬한 뒤 빈 버킷 모델에 ICP 정합하고 적재물 점군을 분리
  3. 빈 버킷·적재물 높이맵의 셀별 차이 적분, 체적·충전율 출력

4) 토의

[!tip] 2021 · TaskNet: 신경망 작업계획 · 🧪 직접 재현 후보 1) 대표그림

420

2) 요약

높이차 지도를 바탕으로 차체·굴착 하위작업과 접근·굴착 동작을 재귀적으로 예측하는 신경망 작업계획기

3) 방법

  1. LiDAR 높이차 지도를 장비 도달범위의 tile과 버킷 폭의 cell 격자로 변환
  2. 시연 시퀀스로 TEM은 이동·굴착 영역을, CEM은 접근점·굴착 깊이와 종료를 학습
  3. 예측된 동작을 경로·궤적계획기로 실행하고 새 관측을 받아 완료될 때까지 반복

4) 토의

[!note] 2022 · 기하 표현 연속 굴착 1) 대표그림

420

2) 요약

점군의 normal·curvature·물체 수를 학습한 PointNet++ 표현을 고정하고, PPO가 연속 굴착의 공격 위치와 각도를 선택

3) 방법

  1. 시뮬레이션 점군에서 normal·curvature·물체 수를 생성해 PointNet++를 사전학습
  2. encoder를 고정하고 장면 표현에서 공격점과 각도를 출력하도록 PPO를 학습
  3. 행동을 관입·끌기·닫기 궤적으로 바꿔 충돌 검사 후 로봇에서 반복 실행

4) 토의

[!tip] 2022 · 모방학습-STOMP 궤적계획 · 🧪 직접 재현 후보 1) 대표그림

420

2) 요약

지형·재료에서 모방학습으로 초기 궤적을 만들고 STOMP로 안전성·부드러움·목표 굴착량을 보정

3) 방법

  1. point cloud를 height grid로 바꾸고 굴착 구간의 상대 높이와 재료 특징을 입력
  2. 전문가 궤적의 버킷 자세를 학습해 새 지형의 초기 궤적을 생성
  3. STOMP로 기구학·작업영역·굴착량 비용을 보정한 뒤 실행 결과를 학습 데이터에 추가

4) 토의

[!note] 2022 · 실환경 배치형 자율 굴착기 1) 대표그림

420

2) 요약

멀티모달 인지, 계층형 작업·동작 계획, 유압 제어를 통합해 비정형 현장에서 자재 상차를 장시간 자율 수행

3) 방법

  1. 굴착기에 RTK·관절 센서·LiDAR·카메라를 장착하고 CAN 제어 계층을 구성
  2. 영상의 재질·물체 분할과 LiDAR 깊이를 융합해 장애물 및 주행가능 지도를 생성
  3. 계층형 계획기로 이동·굴착 동작을 만들고 유압 제어기로 팔과 베이스를 실행

4) 토의

[!note] 2022 · 휠로더 LPV-MPC 추종 1) 대표그림

420

2) 요약

휠로더의 Y자 작업경로는 NL-MPC로 미리 만들고, 온라인 LPV-MPC가 굴절조향 비선형성을 반영해 궤적을 추종

3) 방법

  1. 적재점·하역점·장애물과 차량 제약을 넣어 NL-MPC로 기준 궤적을 계산
  2. 기준 궤적에서 차량모델을 선형화해 구간별 LPV 예측모델을 생성
  3. LPV-MPC가 조향률을 계산하고 속도제어기와 함께 전진·후진 궤적을 실행

4) 토의

[!note] 2022 · TNS 주행성 지도·내비게이션 1) 대표그림

420

2) 요약

RGB 의미분할과 LiDAR 경사·단차를 융합해 실시간 주행성 지도를 만들고 Hybrid A*와 추종 제어로 굴착기를 자율주행

3) 방법

  1. 보정·동기화한 RGB, LiDAR, 위치 정보를 입력으로 수집
  2. 영상의 지형 의미를 점군에 투영하고 격자별 경사·단차와 융합
  3. 주행성 격자를 Hybrid A* 비용으로 사용해 경로를 만들고 궤도를 추종

4) 토의

[!note] 2022 · TTM 비정형 지형 지도화 1) 대표그림

420

2) 요약

RGB 지형 의미와 LiDAR 경사·단차를 굴착기 사양 기반 규칙으로 결합해 비정형 현장의 주행 가능 영역을 실시간 지도화

3) 방법

  1. RGB 영상과 LiDAR 점군을 동기화하고 지형 클래스를 점군에 투영
  2. 격자마다 경사·단차를 계산해 의미 클래스와 굴착기 임계값으로 융합
  3. 융합 점수를 점유 지도로 변환하고 Hybrid A*의 주행 가능 영역으로 사용

4) 토의

[!note] 2022 · VINet 미지 지형 적응 주행 1) 대표그림

420

2) 요약

전방 영상과 IMU·구동 명령을 융합해 미지 지형을 가장 적합한 기존 제어기에 연결하고 주행 중 제어기를 전환

3) 방법

  1. 각 지형에서 영상, IMU, 구동 명령과 제어기별 경로추종 오차를 수집
  2. 영상 특징과 IMU 시계열 특징을 공통 임베딩에 정렬해 지형 레이블을 학습
  3. 예측 레이블에 대응하는 동역학 모델과 제어기를 선택해 경로를 추종

4) 토의

[!note] 2023 · 오프라인 RL 강체 굴착 1) 대표그림

420

2) 요약

접촉력 기반 sweep·rotate·penetrate 동작을 시연 데이터의 오프라인 RL로 학습해 강체 사이 걸림 없이 버킷을 관입

3) 방법

  1. 5종 지형에서 원격조작·규칙 정책으로 버킷 자세·속도·접촉력과 동작 파라미터를 수집
  2. 현재·시연 궤적을 LSTM으로 인코딩하고 IQL로 세 동작 프리미티브의 연속 파라미터를 학습
  3. 새 지형은 소량 시연으로 지형 표현을 얻고 짧은 온라인 미세조정 뒤 임피던스 제어로 실행

4) 토의

[!note] 2023 · TNES 주행·굴착 통합 1) 대표그림

420

2) 요약

RGB·LiDAR 주행성 지도와 위치추정·경로추종을 AES에 연결해 6.5t·49t 굴착기의 험지 주행과 굴착을 통합

3) 방법

  1. RGB 의미분할을 점군에 투영하고 격자별 경사·단차를 장비 사양과 융합해 주행성 지도를 생성
  2. 전역지도 정합과 반복 칼만필터로 위치를 추정하고 Hybrid A* 경로를 속도·추종 제어기로 실행
  3. 이동 목표와 굴착영역을 AES 작업계획기에 넘겨 주행·굴착·덤핑을 순차 수행

4) 토의

[!note] 2023 · 건설 자동화용 다중작업 굴착기 1) 대표그림

420

2) 요약

위치추정·지형지도·계층형 계획·유압 제어를 통합해 트럭 상차, 비정형 지형 주행, 트렌칭을 연속 수행

3) 방법

  1. RTK·LiDAR·카메라로 굴착기 위치, 트럭 자세, 실시간 고도 지도를 추정
  2. 작업영역과 목표 형상을 입력해 상차·트렌칭을 세부 굴착 및 이동 작업으로 분해
  3. Hybrid A*와 동작 프리미티브로 주행·팔 궤적을 만들고 장애물 감지 시 정지

4) 토의

[!tip] 2024 · ExACT 종단간 굴착 제어 · 🧪 직접 재현 후보 1) 대표그림

420

2) 요약

LiDAR 고도지도·카메라·관절 상태에서 Transformer가 미래 동작 묶음을 직접 생성하는 종단간 굴착 정책

3) 방법

  1. 원격조작으로 관절 상태, 카메라, 작업영역 고도지도와 밸브·관절 명령을 동기 수집
  2. ACT 기반 조건부 VAE와 Transformer로 미래 동작 묶음을 모방학습
  3. 겹친 동작 예측을 시간 앙상블로 합쳐 명령하고 기록 센서 기반 시뮬레이터에서 검증

4) 토의