Baidu Research2022#026학습·RL·IL·VLA논문 PDF 기반 카드

모방학습과 모델을 통합한 굴착기 궤적 계획

Imitation Learning and Model Integrated Excavator Trajectory Planning

Qiangqiang Guo, Zhixian Ye, Liyang Wang, Liangjun Zhang

한줄 요약 — 128개 전문가 시연에서 굴착기-POA 선상의 상대높이 단면과 재료 특징을 버킷 자세열로 매핑하고, 사람이 적합성을 확인한 초기 궤적을 관절공간 STOMP가 IK·경계·부드러움·참조 이탈·목표 체적으로 최적화해, pure IL의 낮은 분산과 pure STOMP의 실행 가능성을 결합한 2단계 굴착 궤적 계획법이다.

1.연구 배경 및 동기

전문가 작업패턴과 모델 제약을 한 궤적에 결합하는 이유

굴착 궤적은 토질·형상에 따라 달라지고 버킷-자재 접촉을 정확히 모델링하기 어렵다. rule-based 방식은 고정 환경에서 잘 작동해도 조건 변화에 약하고, model optimization은 기구학·안전 제약을 다룰 수 있지만 접촉모델 오차와 초기 궤적에 민감하다. RL은 많은 탐색 데이터와 simulation-real 전이 문제가 있으며, 순수 IL은 시연 범위 밖에서 실패하거나 IK·경계를 위반할 수 있다.

저자들은 전문가가 아는 '좋은 궤적 형상'과 모델이 확인할 수 있는 '실행 가능성'을 두 단계로 분리한다. IL actor가 지형 형상과 재료에서 초기 버킷 궤적을 생성하고, STOMP가 관절공간에서 기구학·작업영역·smoothness·참조 이탈·목표 굴착체적 비용을 최적화한다. 실행 결과와 사람의 0~10 평가는 다시 시연셋에 들어가 actor를 갱신한다.

원문 Figure 1, PDF 2쪽
원문 Figure 1 · PDF p.2 — Fig. 1: Algorithm framework
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

상태 s는 기하 특징 sg와 재료 특징 sm의 결합이다. sg는 POA에서 굴착기 베이스로 이어지는 작업 관련 영역을 n개 단면으로 나누고 각 단면의 POA 대비 상대높이를 합산해 만든다. sm은 point cloud와 같은 시점의 지형 이미지를 사전학습 분류기에 넣어 얻는다. 행동 a는 전문가 궤적에서 시간축으로 균등 선택한 m개 버킷 자세로, 각 자세는 평면거리·z·버킷각의 3변수라 3m차원이다.

actor가 새 상태의 궤적을 만들면 사람이 형상을 검사한다. 좋지 않으면 전문가가 로봇을 직접 조작해 시연을 추가하고, 좋으면 actor 궤적을 STOMP의 초기·참조 궤적으로 사용한다. STOMP는 관절공간 noisy trajectory를 반복 샘플링해 IK 가능성을 확보하고, 경계 위반·smoothness·초기궤적 이탈·목표체적 비용을 줄인다. 실행 뒤 사람 평가 r∈[0,10]을 (s,a,r)과 저장해 높은 평가 궤적을 더 자주 재학습한다.

처리 파이프라인

1

지형 센싱

Azure Kinect point cloud를 grid map으로 만들고 같은 시점의 RGB 지형 이미지를 재료 분류기에 넣는다.

2

Sectional-volume 특징

POA-베이스 선상의 주황 영역을 n구간으로 나누고 각 구간의 POA 대비 높이차 합을 sg로 만든다.

3

재료 특징 결합

모래·암석성 재료의 궤적 차이를 반영하도록 분류기의 sm을 sg와 연결해 상태 s={sg,sm}을 구성한다.

4

IL actor 학습

전문가 버킷 궤적의 m개 자세를 행동 a∈R^(3m)로 만들고 예측과 시연 사이 MSE를 최소화한다.

5

인간 적합성 게이트

새 궤적이 좋으면 STOMP로 넘기고 부적합하면 사람이 직접 시연해 demonstration dataset을 보강한다.

6

관절공간 STOMP

초기 궤적 주변의 noisy joint trajectory를 샘플링하고 비용에 따라 확률적으로 갱신해 기구학을 만족한다.

7

다중 비용 보정

작업영역 경계, smoothness, IL 참조 이탈, raw-volume과 목표체적 차이를 비용으로 함께 사용한다.

8

실행·재학습

Franka에서 실행하고 사람이 0~10으로 평가한 (s,a,r)을 저장해 높은 평가 sample을 우선 재학습한다.

원문 수식과 의미

2단계 정책 구성

π(s)=πModel ⁣(πIL(s))\pi(s)=\pi_{\mathrm{Model}}\!\left(\pi_{\mathrm{IL}}(s)\right)

IL actor가 초기 궤적을 만들고 model·rule 기반 STOMP가 이를 실행 가능하고 목적에 맞게 보정한다.

IL actor MSE

min⁡πIL1N∑i=1N(ai−πIL(si))2\min_{\pi_{\mathrm{IL}}}\frac{1}{N}\sum_{i=1}^{N}\left(a_i-\pi_{\mathrm{IL}}(s_i)\right)^2

N개 전문가 상태-궤적 쌍에서 시간 균등 표본의 버킷 자세열을 모방한다.

작업영역 hard-constraint 비용 (Eq.1)

chc,i={exp⁡ ⁣(whcd(pi,A)),pi∉A0,pi∈Ac_{hc,i}=\begin{cases}\exp\!\left(w_{hc}d(p_i,A)\right),&p_i\notin A\\0,&p_i\in A\end{cases}

버킷 자세 pi가 3차원 허용 굴착영역 A 밖으로 나가면 거리 d에 따라 지수 페널티를 준다.

IL 참조 이탈 비용 (Eq.2)

cini,i=wini∥pi−p^i∥c_{ini,i}=w_{ini}\lVert p_i-\hat{p}_i\rVert

최적 궤적이 actor의 전문가형 초기 자세 p-hat에서 과도하게 벗어나지 않게 한다.

목표체적 및 총비용 (Eq.3-5)

Cvo=wvoexp⁡ ⁣(∥Vraw−V^∥),Ctraj=Csm+Cvo,cpoint,i=chc,i+cini,iC_{vo}=w_{vo}\exp\!\left(\lVert V_{raw}-\hat{V}\rVert\right),\quad C_{traj}=C_{sm}+C_{vo},\quad c_{point,i}=c_{hc,i}+c_{ini,i}

terrain과 궤적이 둘러싼 raw volume을 대용값으로 쓰고 smoothness·체적 비용과 point별 경계·참조 비용을 결합한다.

원문 Figure 2, PDF 3쪽
원문 Figure 2 · PDF p.3 — Fig. 2: Architecture of actor trajectory generation
원문 Figure 3, PDF 3쪽
원문 Figure 3 · PDF p.3 — Fig. 3: An illustration of the geometric feature extraction of the excavation-related terrain: top view of the terrain and the excavator (left), and side view of the terrain for feature extraction(right)

3.핵심 기술

굴착 관련 영역만 압축하는 sectional-volume 상태

베이스가 single excavation 동안 swing하지 않는다는 가정을 이용하면 POA와 베이스를 잇는 좁은 영역이 궤적에 가장 직접적이다. 전체 grid를 CNN에 넣지 않고 이 영역을 n개 단면으로 나누어 상대높이 합을 사용하면 상태와 데이터 요구량을 줄인다. 재료 특징을 별도 연결해 같은 형상이라도 모래와 목재 블록에서 다른 형상을 낼 수 있게 한다.

  • geometry feature는 sg∈R^n이고 material feature sm과 연결한다.
  • action은 swing을 제외한 버킷 평면거리·높이·각도의 m개 시점이다.
  • 논문은 n·m과 actor 층 구성을 공개하지 않아 완전 재현에는 정보가 부족하다.

전문가 형상을 보존하는 안전 STOMP

STOMP는 gradient가 필요 없고 좋은 초기값에서는 적은 반복으로 수렴할 수 있어 접촉모델이 불완전한 굴착에 적합하다. 관절공간에서 샘플링해 순·역기구학 가능성을 확보하고, IL 참조 비용으로 인간 작업패턴을 보존한다. 경계 지수비용은 바닥·trench 외부 접촉을 막고 smoothness는 에너지와 급격한 동작을 줄인다.

  • pure-STOMP의 linear initialization보다 IL 초기궤적이 높은 체적과 계획성공률을 만들었다.
  • pure-IL의 일부 자세는 IK를 만족하지 않아 실험에서 linear interpolation이 필요했다.
  • raw volume은 실제 접촉체적의 단순 대용값이며 재료 상호작용을 정확히 모델링하지 않는다.

사람 평가를 포함한 DAgger형 폐루프

actor가 낸 형상을 사람이 먼저 판정하고, 실행 뒤 다시 0~10으로 평가한다. 부적합 상태에는 직접 시연을 추가하고 좋은 실행은 높은 확률로 재학습한다. 이 루프는 policy가 방문하는 상태에서 데이터셋을 확장하지만 사람 개입이 필수이고, 논문에서 일정 episode 이후 데이터 추가 효과가 정체됐다.

  • 초기 actor 학습에는 128개 demonstration trajectory를 사용했다.
  • 평가값이 큰 궤적을 importance sampling으로 더 자주 선택한다.
  • 완전 자율 online adaptation이 아니라 인간 확인과 평가를 포함한 데이터 수집 체계다.

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

원문 Figure 4, PDF 5쪽
원문 Figure 4 · PDF p.5 — Fig. 4: Experiment settings: Two types of material for experiment, (a) sand and (c) wooden block; (b) Terrain visualization using grid map [17]; (d) Sizes of the wooden block

핵심 결과 해석

모래 세 episode 합산에서 IL+STOMP의 평균 굴착중량은 0.965kg으로 pure-STOMP 0.773kg보다 24.77%, pure-IL 0.932kg보다 3.25% 높았다. 계획성공률은 IL+STOMP와 pure-IL이 100%, pure-STOMP가 84.4%였다. pure-STOMP의 linear 초기 궤적이 terrain을 관입하지 못하면 STOMP가 volume cost를 줄일 탐색 공간을 얻지 못하는 실패가 발생했다.

IL+STOMP의 표준편차는 0.131kg으로 pure-IL 0.204kg보다 35.52% 낮고 pure-STOMP 0.144kg보다도 8.78% 낮았다. 목재 블록에서 specialized·generic actor의 평균중량은 0.22882kg·0.22754kg으로 baseline 0.21248kg보다 7.69%·7.09% 높았다. 두 actor는 baseline보다 최소중량과 성공률을 크게 개선했지만 최대중량은 약 18% 낮아 더 보수적인 궤적을 만들었다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
IL+STOMP 평균 굴착중량0.965 kg모래, 3 episode×15회PDF p.6
pure-STOMP 대비 평균중량 개선24.77%0.965 kg 대 0.773 kgPDF p.6
IL+STOMP 계획성공률100%pure-STOMP는 84.4%PDF p.6
pure-IL 대비 표준편차 감소35.52%0.131 kg 대 0.204 kgPDF p.6
목재 specialized actor 평균중량0.22882 kg (+7.69%)baseline 0.21248 kgPDF p.6
목재 generic actor 평균중량0.22754 kg (+7.09%)baseline 0.21248 kgPDF p.6
목재 specialized planning success0.8444baseline 0.5556 대비 +52.00%PDF p.6
실패 사례와 경계조건
원문 Figure 5, PDF 5쪽
원문 Figure 5 · PDF p.5 — Fig. 5: Trajectories generated by different methods under the same terrain state
원문 Figure 6, PDF 6쪽
원문 Figure 6 · PDF p.6 — Fig. 6: IL trajectory execution on the robot arm

5.한계 및 향후 연구

현재 한계

  • actor는 128개 시연만으로 학습해 지형·재료 분포의 범위가 작다.
  • 새 궤적 적합성 판정과 실행 평가는 사람이 수행하므로 완전 자율 데이터 루프가 아니다.
  • raw enclosed volume은 실제 자재-버킷 상호작용과 손실을 정확히 나타내지 못한다.
  • Franka·모래·목재 tray 결과라 실제 유압 굴착기의 힘·스케일·진동 일반화는 확인되지 않았다.

향후 연구

  • 더 크고 다양한 demonstration dataset에서 IL+STOMP와 pure-IL을 다시 평가한다.
  • DAgger 정체를 줄이기 위해 few-shot·고급 IL·RL 기법을 적용한다.
  • 실제 굴착기에서 시연 수집·정제, 비용함수, 실행 인터페이스를 설계한다.
  • 실행 torque·force로 raw-volume 오차와 접촉 위험을 보정하는 학습 residual model을 결합한다.

6.한마디로 정리

핵심 방법은?

sectional-volume·재료 특징의 IL actor가 전문가형 초기 궤적을 만들고 STOMP가 기구학·경계·smoothness·체적을 보정한다.

핵심 결과는?

모래에서 pure-STOMP보다 평균중량 24.77% 향상, 계획성공률 100%, pure-IL보다 분산 35.52% 감소를 기록했다.

한계는?

128개 시연·사람 게이트·단순 volume model·Franka 실험에 의존해 실제 굴착기와 미지 재료 일반화가 남는다.

#학습·RL·IL·VLA#작업·궤적계획#모방학습#심층 신경망#STOMP#모델 기반 궤적 최적화

나의 의견 / 우리 연구와의 연관성

이 방법은 자율굴착에서 데이터와 모델의 역할을 분명히 나눈다. 사람 시연은 접촉을 수식화하기 어려운 궤적 형상을 제공하고, 모델 최적화는 IK·경계·부드러움처럼 명시 가능한 안전조건을 책임진다. 학습이 모든 것을 대체하지 않고 불확실한 부분만 제안하게 하는 구조는 데이터가 적고 사고비용이 큰 필드로봇에 적합하다.

실제 굴착기로 확장하려면 사람의 good/bad 판정을 actor uncertainty와 제약 검사로 일부 자동화하고, raw volume 대신 LiDAR height map·재료분류·유압압력·버킷속도에서 실제 충만율과 저항을 예측해야 한다. STOMP의 hard constraint는 유지하면서 학습 residual을 체적·힘 비용에만 사용하면 안전성과 적응성을 분리 검증할 수 있다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거