Baidu Research2022#025학습·RL·IL·VLA논문 PDF 기반 카드

기하 표현을 이용한 굴착 강화학습

Excavation Reinforcement Learning Using Geometric Representation

Qingkai Lu, Yifan Zhu, Liangjun Zhang · IEEE Robotics and Automation Letters

한줄 요약 — 불규칙 강체 점군을 지역 normal·curvature와 전역 object count로 사전학습한 뒤 encoder를 고정하고 PPO가 연속 굴착의 공격점·각도를 정하게 해 원시 점군 end-to-end 정책보다 학습시간과 계획성공률을 개선했으나, open-loop 궤적과 Franka의 힘 한계 때문에 실제 25회 중 11회가 접촉 저항으로 멈춘 기하-정책 분리형 연구다.

1.연구 배경 및 동기

강체 군집의 현재 장면과 다음 굴착을 함께 고려하는 문제

토사·모래와 달리 파쇄암·목재 블록 같은 불규칙 강체 군집은 접촉 동역학이 복잡하고 형상이 다양하며 표면 일부만 관측된다. 한 번의 굴착은 물체 배열을 바꾸므로 다음 굴착의 성공 가능성과 체적에도 영향을 준다. 기존 단일 굴착 최적화만으로는 material loading이나 trenching처럼 여러 번 이어지는 작업의 장기 누적 성능을 직접 다루기 어렵다.

저자들은 장면 점군을 상태, 공격 pose를 행동, 굴착 체적을 보상으로 하는 MDP를 구성하고 PPO로 열 번의 연속 굴착을 학습한다. 원시 점군 end-to-end RL의 데이터 비용을 줄이기 위해 normal·principal curvature·물체 수를 예측하는 PointNet++ 표현을 먼저 학습하고 고정한다. 지역 접촉 형상과 전역 자재량을 동시에 담은 작은 표현이 학습 효율과 sim-to-real 전이를 높이는지가 핵심 질문이다.

원문 Figure 1, PDF 2쪽
원문 Figure 1 · PDF p.2 — Fig. 1: The figure shows an excavator excavating fragmented rocks, with joints labeled in red. An excavator has a total of 4 degrees of freedom, excluding the mobile base.
원문 Figure 2, PDF 3쪽
원문 Figure 2 · PDF p.3 — Fig. 2: This figure adapted from [8] visualizes our excavation trajec- tory representation in the task space. The numbers in blue circles represent the sequence of our five excavation phases. The bucket poses with ID from 1 to 5 represents the attacking, penetration, dragging, closing, and lifting phase respectively.
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

굴착 궤적은 attacking, penetration, dragging, closing, lifting의 다섯 단계다. 공격점의 z는 RGB-D height map에서 얻고, 최대 끌기길이·닫힘각·들기높이는 고정해 행동을 tray 좌표계의 (x,y,α)로 축약한다. 정책은 현재 점군에서 공격 pose를 고르고, 작업공간 궤적은 100Hz 관절 waypoint로 이산화해 IK·self-collision·tray collision을 확인한 뒤 Panda joint impedance controller에 open-loop로 보낸다.

표현망은 점군을 FPS로 7,000점에 맞춘 뒤 PointNet++ 다섯 계층으로 1,024→256→64→16→8점까지 줄인다. 마지막 8점의 3D 위치와 32차원 특징을 연결한 280차원을 PPO 입력으로 쓴다. decoder는 점별 normal·curvature, 별도 FCL은 장면 object count를 예측한다. representation encoder는 RL 동안 고정돼 기하 사전학습과 정책 최적화를 분리한다.

처리 파이프라인

1

장면·행동 정의

점군을 상태, 굴착 체적을 보상, tray 좌표계 공격 pose (x,y,α)를 행동으로 하는 순차 MDP를 만든다.

2

무라벨 기하 정답

PyBullet 장면의 점군 normal·principal curvature는 PCL로 계산하고 object count는 simulator에서 자동 획득한다.

3

점군 다운샘플링

각 장면을 FPS 7,000점으로 줄여 밀도 차이를 맞추고 PointNet++ feature extractor에 넣는다.

4

280차원 표현

다섯 추출층의 끝에서 8개 점마다 3D 위치+32D 특징을 만들고 연결해 지역·전역 기하 표현을 얻는다.

5

보조과제 사전학습

normal·curvature·object count 손실을 함께 최적화해 접촉 지역 형상과 장면 전체 자재량을 인코딩한다.

6

PPO 연속 정책

encoder를 고정하고 256·64 ReLU 정책망이 매 장면의 공격 pose를 출력하며 planning failure에는 -1을 준다.

7

궤적·충돌 검사

고정된 5단계 primitive를 100Hz 관절열로 바꾸고 IK·self-collision·tray collision이 있으면 계획 실패로 처리한다.

8

Sim-to-real 직접 배치

simulation 정책을 tuning 없이 Azure RGB-D와 Franka Panda의 실제 목재 블록 장면에 적용해 계획과 실행을 분리 측정한다.

원문 수식과 의미

연속 굴착 MDP

⟨S,A,R,P,λ⟩,s=Z,a=(x,y,α),r=Vexcavated\langle S,A,R,P,\lambda\rangle,\qquad s=Z,\quad a=(x,y,\alpha),\quad r=V_{\mathrm{excavated}}

상태는 현재 장면 점군, 행동은 공격 pose, 보상은 굴착된 강체 체적이며 episode에서 굴착을 순차 반복한다.

기하 표현 총손실

Ltotal=10Lnormal+Lcurv+LobjL_{\mathrm{total}}=10L_{\mathrm{normal}}+L_{\mathrm{curv}}+L_{\mathrm{obj}}

지역 normal·curvature와 전역 물체 수를 함께 학습하며 normal 항 가중치는 원문 설정 w=10이다.

이산 관절 궤적

T~={(q0,t0),…,(qk−1,tk−1)},q∈R7\widetilde{T}=\{(q_0,t_0),\ldots,(q_{k-1},t_{k-1})\},\qquad q\in\mathbb{R}^{7}

작업공간 5단계 궤적을 100Hz IK로 7자유도 Franka 관절 waypoint와 timestamp 열로 바꾼다.

원문 Figure 3, PDF 4쪽
원문 Figure 3 · PDF p.4 — Fig. 3: Representation learning architecture.

3.핵심 기술

지역 기하와 전역 물체량을 함께 담는 표현

굴착 위치 선택은 장면 전체에서 물체가 많은 곳을 찾는 전역 추론과, 버킷이 닿을 표면의 normal·curvature를 이해하는 지역 추론을 모두 요구한다. PointNet++의 계층 특징은 이 두 규모를 결합하고, 물체 수 보조과제는 표면만 보이는 점군에서 장면 전체량을 추론하도록 유도한다. 마지막 280차원 표현은 정책망을 작게 유지한다.

  • 추출점 수는 1,024·256·64·16·8, 특징차원은 128·128·128·64·32다.
  • simulation normal MAE는 22.0°, 실제 장면은 15.4°였다.
  • curvature MAE는 simulation 0.0314, 실제 0.0323이며 simulation object-count MAE는 16.1이다.

공격 pose만 학습하는 계층형 정책

PPO는 궤적의 모든 waypoint를 직접 만들지 않고 (x,y,α)만 결정한다. z는 height map, 끌기길이·닫힘각·들기높이는 규칙으로 정하고 IK와 충돌 검사가 실행 가능성을 확인한다. 이 축약은 탐색공간을 줄여 연속 굴착 순서를 학습하기 쉽지만 접촉 중 힘과 primitive 형상을 정책이 바꾸지 못하는 한계를 동시에 만든다.

  • episode당 simulation 학습은 10회 굴착이며 discount factor는 0.99다.
  • 6개 simulator가 병렬로 768 sample마다 정책을 갱신했다.
  • RL-rep-exv와 RL-exv는 각각 30,000 sample, 즉 3,000 episode를 학습했다.

지각 전이와 접촉 실행을 분리한 실제 검증

실제 실험의 282개 목재 블록은 학습에 없었고 카메라 pose도 simulation과 달랐다. 기하 표현 정책은 모든 25개 공격 pose에서 유효 관절 궤적을 만들었지만 11개는 큰 저항으로 버킷이 멈췄다. 이는 점군 표현의 시점 전이와 실제 힘 제한이 별개 문제이며, 계획 성공이 작업 성공을 보장하지 않음을 수치로 보여준다.

  • 실제 관입깊이는 0.07m, 최대 끌기길이는 0.1m로 줄였다.
  • Panda joint impedance 강성은 100Nm/rad이며 궤적은 open-loop다.
  • 관입 시 작은 wiggle을 주지만 힘 피드백 기반 재계획·반응제어는 없다.
원문 Figure 6, PDF 6쪽
원문 Figure 6 · PDF p.6 — Fig. 6: The training curves of RL-exv and RL-rep-exv. The y and x axes represent the RL reward and the number of training samples.

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

핵심 결과 해석

기하 표현 정책은 16k parameter와 126시간 39분 학습으로, 205k parameter·163시간 28분의 end-to-end 정책보다 작고 빨랐다. simulation 평균 체적은 194.1cm³(43.1%), 계획성공률은 93.1%로 RL-exv의 176.6cm³(39.2%), 87.4%를 모두 앞섰다. heuristic은 유효 계획의 평균 체적은 240.8cm³로 높았지만 계획성공률이 39.5%에 그쳤다.

실제에서 RL-rep-exv는 평균 191.0cm³(42.4%)와 계획 25/25를 기록해 RL-exv의 165.4cm³(36.8%), 계획 17/25보다 좋았다. 그러나 접촉 실행은 14/25만 성공했고 성공한 경우 평균은 341.1cm³(75.8%)였다. RL-exv는 유효 계획 17개 중 15개를 실행했다. 기하 표현은 충돌·IK 계획을 개선했지만 Franka의 힘 한계는 해결하지 못했다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
RL-rep-exv 학습시간126시간 39분16k-parameter 기하 표현 정책PDF p.5
RL-exv 학습시간163시간 28분205k-parameter end-to-end 정책PDF p.5
simulation 평균 체적194.1 cm³ (43.1%)RL-rep-exv, 1,000회PDF p.6
simulation 계획성공률93.1%RL-rep-exv; RL-exv는 87.4%PDF p.6
실제 평균 체적191.0 cm³ (42.4%)RL-rep-exv, 25회PDF p.7
실제 계획·실행 성공25/25 계획, 14/25 실행RL-rep-exvPDF p.7
실제 성공 실행 평균 체적341.1 cm³ (75.8%)RL-rep-exv의 14회 성공PDF p.7
실패 사례와 경계조건
원문 Figure 8, PDF 7쪽
원문 Figure 8 · PDF p.7 — Fig. 8: We qualitatively show the excavation results of one complete episode for the simulated experiments of RL-rep-exv. The red cross in each image represents its planned 2D attacking point. View order: left to right and top to bottom.
원문 Figure 10, PDF 7쪽
원문 Figure 10 · PDF p.7 — Fig. 10: The two rows of images show two excavation episodes for RL-rep-exv in the real world. We also label the bucket filling volume (if not stuck).
원문 Figure 11, PDF 7쪽
원문 Figure 11 · PDF p.7 — Fig. 11: Two typical failure cases of excavation planning due to collision with the tray are shown in the figure. The collisions in the left and right images happen during the closing and dragging phases respectively.

5.한계 및 향후 연구

현재 한계

  • 실제 플랫폼이 소형 Franka와 tray이며 유압 굴착기의 스케일·동역학·환경을 검증하지 않았다.
  • PPO는 공격 pose만 정하고 관입·끌기·닫기·들기는 고정된 open-loop primitive다.
  • 큰 접촉 저항을 감지해 속도·깊이·방향을 바꾸는 force feedback·reactive control이 없다.
  • 실제 object-count ground truth가 없어 전역 보조과제의 real-world 정확도를 정량 평가하지 못했다.

향후 연구

  • simulation·real representation distribution을 맞춰 지각 sim-to-real gap을 더 줄인다.
  • 유효 계획 안에서 실제 굴착체적을 높이도록 정책 목적과 데이터를 개선한다.
  • 불확실한 광산 작업을 위한 replanning·reactive force control을 결합한다.
  • 정책과 primitive를 실제 유압 굴착기로 옮겨 누적체적·걸림률·접촉력을 검증한다.

6.한마디로 정리

핵심 방법은?

normal·curvature·object count로 학습한 280차원 PointNet++ 표현을 고정하고 PPO가 연속 굴착 공격 pose를 선택한다.

핵심 결과는?

simulation 194.1cm³·93.1%, 실제 191.0cm³·계획 25/25로 end-to-end 정책을 앞섰다.

한계는?

실제 실행은 14/25로, open-loop primitive와 로봇 힘 한계가 기하 표현의 계획 이득을 크게 깎았다.

#학습·RL·IL·VLA#작업·궤적계획#PointNet++#자기지도 기하 표현#PPO#sim-to-real

나의 의견 / 우리 연구와의 연관성

자율굴착 관점에서 이 연구는 장기 작업순서와 단일 궤적 실행을 분리한다. 상위 정책은 점군 기하로 어디를 어떤 각도로 공격할지 정하고, 고정 primitive가 실제 버킷을 움직인다. 이 계층은 탐색을 줄이지만 실제 현장에서는 하위 제어가 힘·토크·slip을 읽고 관입과 끌기를 바꾸어야 상위 계획의 이득이 유지된다.

25/25 계획과 14/25 실행의 간극은 필드로봇 평가에서 perception·planning success와 physical execution success를 따로 보고해야 함을 보여준다. 실제 굴착기 후속 연구는 point-cloud 상위정책에 유압압력·관절속도 기반 residual controller를 붙이고, 누적 체적뿐 아니라 걸림·최대 접촉력·계획실패를 함께 최적화할 수 있다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거