ETH Zurich2021#044학습·RL·IL·VLA논문 PDF

범용 유압 굴착기 팔 RL

A General Approach for the Automation of Hydraulic Excavator Arms Using Reinforcement Learning

한줄 요약 — joint·valve 이력, engine RPM, oil temperature로 cylinder-linkage까지 포함한 100 Hz neural actuator model을 만들고 6.7 Hz PPO policy를 100 Hz 실기로 전이해, 별도 gain tuning 없이 네 arm joint의 arbitrary SE(2) trajectory와 soil-contact grading을 추종하며 상용 controller보다 낮은 수직 오차를 낸 범용 유압 arm 자동화법이다.

1.연구 배경 및 동기

해석 유압모델과 장비별 게인 조정 없이 정밀 end-effector 제어하기

유압 굴착기 arm의 end effector를 정확히 제어하는 기술은 석재 조작, 벌목, grading 같은 자율 작업의 공통 기반이다. 하지만 two-stage hydraulic circuit는 pilot pressure로 main valve를 간접 구동해 큰 delay와 dead zone을 만들고, 여러 cylinder가 하나의 pump를 공유해 coupling과 saturation이 발생한다. cylinder의 직선 운동을 joint 회전으로 바꾸는 linkage도 비선형이며 장비마다 다르다. 크기, load-sensing 방식, 온도, 하중, wear, 제조공차까지 더해져 동일 기종도 다르게 반응한다.

정교한 nonlinear model-based controller는 정확한 hydraulic·linkage model과 고정밀 actuator를 요구하고, PID 같은 model-free controller는 기계마다 expert tuning이 길며 nominal condition을 벗어나면 성능이 나빠진다. 과거 neural model 연구는 cylinder별 network 뒤에 별도 cylinder-to-joint 변환이 필요하거나 torque-level 고급 valve에 의존했고, online inverse model은 반복 motion 뒤에도 수십 cm error와 command filtering이 남았다. 저자들의 선행 RL controller도 position-at-rest 목표라 움직이기 위해 항상 position offset이 필요했고 orientation을 제어하지 못했다.

해법은 실기 데이터로 네 actuator와 linkage를 한 network에 흡수하고, link length simulator에서 task-space velocity policy를 학습해 pilot valve에 직접 연결하는 것이다. 원형·직선·soil grading과 Leica 비교로 성능을 확인한다.

원문 Figure 1, PDF 2쪽
원문 Figure 1 · PDF p.2 — Fig. 1. Menzi Muck M545, a 12 t hydraulic walking excavator, used in this work to validate the proposed method by controlling its four arm joints.
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

네 arm joint network는 0.1 s joint history, 0.99 s valve history, RPM·oil temperature로 10 ms 뒤 joint velocity를 예측한다. -1~1 pilot current와 dead-zone offset을 쓰며 linkage와 pump coupling도 data에 흡수한다.

network를 joint dynamics로 놓고 link length만으로 kinematics를 계산한다. 정책은 state history와 shovel pose·desired velocity를 보고 네 pilot setpoint를 출력하며 linear·angular tracking을 분리한다.

실기에서는 simulator actuator를 실제 valve로 바꾸고 6.7 Hz 학습 policy를 100 Hz로 실행한다. 상위 proportional law의 x·z·angle gain은 모두 3.0이다.

처리 파이프라인

1

실기 excitation 수집

네 actuator에 full range ramp와 changing-frequency chirp를 겹친 signal, chirp 없는 signal을 혼합해 100 Hz로 100분 수집한다. 두 유형을 절반씩 써 relevant operating mode를 넓게 덮는다.

2

actuator network 학습

joint position·velocity history, valve history, RPM, oil temperature에서 10 ms 뒤 joint velocity를 예측한다. 네 actuator와 cylinder-joint conversion을 한 network에 함께 넣어 coupling을 포착한다.

3

sim-to-real randomization

관측 noise와 episode별 숨은 ±10% action scaling으로 model·sensor 오차 margin을 만든다.

4

PPO policy 학습

128×128 Tanh, 2.0 s episode, batch 39k, discount 0.97의 PPO+GAE를 약 2시간 학습한다.

5

직접 실기 배치

6.7 Hz 학습 policy를 100 Hz 실기에서 실행해 normalized current setpoint를 pilot valve에 바로 준다. desired pose error와 feed-forward trajectory velocity로 command를 만든다.

6

평가

1.5 m 원형, 높이가 다른 5개 직선의 3/4 joint·Leica 비교, 네 waypoint soil grading을 수행한다.

원문 수식과 의미

velocity tracking reward

rk=max⁡(0,rkv+rkα˙+rkr+rkc)r_k=\max(0, r_k^v+r_k^{\dot{\alpha}}+r_k^r+r_k^c)

linear·angular velocity 오차의 exponential reward, 연속 action 변화의 L1 penalty, 양의 상수항을 합하고 0 아래를 잘라 초기 학습의 조기 종료를 억제한다.

실기 pose-to-velocity command

x˙t∗=kp,x(xttraj−xt)+x˙ttraj,z˙t∗=kp,z(zttraj−zt)+z˙ttraj,α˙t∗=kp,α(αttraj−αt)+α˙ttraj\dot{x}_t^*=k_{p,x}(x_t^{traj}-x_t)+\dot{x}_t^{traj},\quad \dot{z}_t^*=k_{p,z}(z_t^{traj}-z_t)+\dot{z}_t^{traj},\quad \dot{\alpha}_t^*=k_{p,\alpha}(\alpha_t^{traj}-\alpha_t)+\dot{\alpha}_t^{traj}

trajectory feed-forward velocity에 pose error proportional correction을 더해 학습 policy가 추종할 task-space velocity를 만든다. 실험 gain은 모두 3.0이다.

원문 Figure 2, PDF 4쪽
원문 Figure 2 · PDF p.4 — Fig. 2. Overview of the proposed method. First (A), an actuator model is trained using measurements collected during operation of the machine in a supervised fashion. Second (B), a control policy is trained in simulation with RL using the pretrained actuator model. Third (C), the control policy is deployed on the physical machine and directly outputs current setpoints that can be applied to the electric pilot stage valves of the excavator.
원문 Figure 3, PDF 4쪽
원문 Figure 3 · PDF p.4 — Fig. 3. We control the four arm joints of the excavator arm (θB, θD, xT , θS). The goal is to track a trajectory of desired shovel edge poses relative to the cabin (xe, ze, αe). To facilitate the training of the controller, by decoupling linear and angular motion, velocity tracking is learned for the shovel joint (xj, zj, αj). Trajectory commands for the shovel edge are converted to shovel joint commands through rigid body kinematics.

3.핵심 기술

linkage까지 흡수한 history-based actuator model

network는 valve current에서 cylinder velocity만 예측하지 않고 joint position·velocity로 바로 출력하므로 복잡한 cylinder attachment geometry와 공유 pump coupling이 data에 포함된다. 0.99 s valve history와 0.1 s velocity history가 pilot-main stage delay와 deadzone의 시간 의존성을 표현하고, RPM·oil temperature가 operating condition을 구분한다.

100분 data는 full-stroke ramp에 chirp를 겹친 절반과 chirp 없는 절반을 섞어 동작 mode를 넓혔다.

  • 100 Hz, 100분 실기 data
  • 네 joint를 한 network에서 예측
  • valve·velocity history와 RPM·temperature 사용

task-space velocity와 orientation을 추종하는 PPO

shovel joint의 linear·angular velocity를 command로 써 arbitrary trajectory에 재사용한다. 여러 시점의 state·action으로 delay를 다루고 pilot current를 직접 출력한다.

  • SE(2) linear·angular velocity command
  • 3-joint와 4-joint policy를 같은 절차로 생성
  • pilot-stage valve setpoint direct action

낮은 학습 주기와 noise로 만든 직접 전이

관측에는 joint·shovel·RPM noise를, action에는 episode별 ±10% scale을 넣는다. simulation은 6.7 Hz, 실기는 100 Hz이며 ReLU보다 안정적이었던 Tanh를 쓴다.

  • observation noise와 hidden action scaling
  • simulation 6.7 Hz, real 100 Hz
  • Tanh 128×128 policy/value network

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

원문 Figure 4, PDF 6쪽
원문 Figure 4 · PDF p.6 — Fig. 4. Circular trajectory tracking experiments in the air. Measurements are represented in the cabin frame. (Top) Shovel edge position for 10 cm s−1 average velocity. The arrow indicates the direction of motion. (Bottom) Measured, desired and trajectory shovel joint velocities for a circular trajectory with 10 cm s−1 average velocity and constant orientation.
원문 Figure 5, PDF 7쪽
원문 Figure 5 · PDF p.7 — Fig. 5. Straight-line tracking experiments in the air. Measurements are represented in the world frame. (Top) Shovel edge position for the slow scenario. The arrow indicates the direction of motion. (Bottom) Measured linear velocity of the shovel edge and absolute tracking errors in vertical direction for the straight line at z = −0.2 m and 3 actuated joints.
원문 Figure 6, PDF 8쪽
원문 Figure 6 · PDF p.8 — Fig. 6. Tracking performance for the grading experiment. Measurements are represented in the cabin frame. The largest tracking error is circled in red and the direction of motion is indicated with the arrows. Angular (top) and linear (bottom) trajectory of the shovel edge.
원문 Figure 7, PDF 9쪽
원문 Figure 7 · PDF p.9 — Fig. 7. Grading experiment with the learned controller. The shovel cannot move freely when curling at the end of the grading part and compresses the soil with its back side which leads to a higher tracking error (Image 6, arrow).

핵심 결과 해석

1.5 m 원형에서 10 cm/s learned controller는 평균 position error 1.7 cm, 최대 3.9 cm로 이전 position RL의 7.8·13.5 cm를 크게 줄였다. 15 cm/s에서는 2.2·4.9 cm, 20 cm/s에서는 2.8·6.7 cm였고 normalized ρ는 각각 0.16, 0.13, 0.13 s로 속도가 증가해도 악화되지 않았다. 20 cm/s의 평균·최대 orientation error도 0.011·0.026 rad로 orientation tracking이 추가되었다.

직선 slow 조건의 수직 평균/최대 error는 learned 3-joint 0.7/1.7 cm, learned 4-joint 0.8/1.7 cm, Leica 1.6/3.6 cm였다. fast에서는 learned 3-joint 1.2/2.5 cm, learned 4-joint 0.9/2.2 cm, Leica 1.8/4.2 cm였다. ρz도 slow 0.06·0.07 대 Leica 0.12, fast 0.08·0.06 대 Leica 0.10으로 learned controller가 전반적으로 더 정확했고 telescope 추가 여부 차이는 작았다.

soil-contact grading 구간은 평균 position error 2.0 cm, 최대 3.4 cm, 평균 속도 19.8 cm/s, ρ 0.08 s였고, 접근·lift·curl을 포함한 전체 path는 2.2·6.2 cm, ρ 0.15 s였다. 최대 error는 grading 뒤 bucket을 너무 빨리 curl하면서 충분히 lift하지 않아 back side가 ground를 누른 suboptimal reference trajectory에서 발생했다. soil force를 학습에 넣지 않았음에도 grading 구간의 정밀도가 유지되어 자유공간 data 기반 controller의 disturbance generalization을 보였다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
10 cm/s 원형 추종평균 1.7 cm, 최대 3.9 cm직경 1.5 m; 이전 방법 평균 7.8 cm, 최대 13.5 cmPDF p.7
20 cm/s 원형 추종평균 2.8 cm, 최대 6.7 cm, ρ=0.13 sorientation 평균/최대 0.011/0.026 radPDF p.7
slow 직선 수직 오차learned 3J 0.7/1.7 cm, 4J 0.8/1.7 cm; Leica 1.6/3.6 cm평균/최대 |ez|, 서로 다른 높이 5개 pathPDF p.8
fast 직선 수직 오차learned 3J 1.2/2.5 cm, 4J 0.9/2.2 cm; Leica 1.8/4.2 cm평균/최대 |ez|PDF p.8
grading 구간평균 2.0 cm, 최대 3.4 cm, ρ=0.08 s평균 19.8 cm/s soil-contact surface finishingPDF p.8
실패 사례와 경계조건

5.한계 및 향후 연구

현재 한계

  • 한 Menzi Muck M545에서 수집한 100분 data에 기반해 다른 장비에는 같은 절차의 data collection·model·policy training이 필요하다.
  • actuator model은 motions in air data로 학습되어 grading 이상의 큰 soil force와 bucket loading을 명시적으로 포함하지 않는다.
  • cabin turn을 제어하지 않아 SE(2)에 제한되며 형식적 stability·safety 보장도 없다.

향후 연구

  • 새 운전 data로 actuator model을 갱신하고 policy를 재학습하거나 online policy improvement로 wear·temperature 변화에 적응한다.
  • digging 중 pressure-derived joint load를 actuator model input에 넣고 soil-tool force disturbance를 training environment에 추가한다.
  • multi-machine data와 safety filter를 결합해 재수집 부담을 줄이고 workspace·force 한계를 보장한다.

6.한마디로 정리

핵심 방법은?

실기 history로 neural hydraulic actuator를 만들고 link length simulator에서 pilot-valve PPO velocity policy를 학습한다.

핵심 결과는?

12 t 굴착기에서 arbitrary trajectory와 grading을 cm급으로 추종하고 직선에서 expert-tuned Leica보다 낮은 error를 냈다.

한계는?

단일 장비의 자유공간 data와 SE(2) 작업에 기반하며 다른 장비·고하중 digging에는 model 갱신과 안전 보강이 필요하다.

#학습·RL·IL·VLA#제어·MPC#학습 유압 동역학#RL 속도추종#pilot-stage 밸브 제어

나의 의견 / 우리 연구와의 연관성

상위 planner가 bucket pose·velocity를 주면 learned policy가 delay·deadzone·coupling을 보상해 pilot current를 만든다. 토질별 trajectory는 만들지 않으므로 soil-adaptive planner의 valve-level inner controller로 계층화하는 구성이 자연스럽다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거