ETH Zurich2022#032학습·RL·IL·VLA논문 PDF

토질 적응형 굴착 RL

Soil-adaptive excavation using reinforcement learning

한줄 요약 — 토질 파라미터를 입력하지 않고 관절 토크·기구 상태만 보는 PPO 정책을 2억 sample의 무작위 FEE 토양에서 학습해 standard pilot-stage valve의 속도제어기로 전이했으며, 12 t HEAP가 soft soil은 9.6 s, 화강암-연질 급변 조건은 12.0 s에 매회 bucket을 채우도록 한 soil-adaptive excavation controller다.

1.연구 배경 및 동기

토질을 미리 재지 않고 한 번의 굴착 안에서 힘 한계에 적응하기

굴착 효율을 높이려면 시간 소모가 큰 loading cycle 수를 줄이기 위해 한 scoop의 토량을 최대화해야 한다. 그러나 hard soil에서는 깊이 파고들면 actuator가 stall하거나 기계가 들리므로 얕고 긴 penetrate-and-drag 경로가 필요하고, soft soil에서는 깊고 짧은 penetrate-and-scoop가 유리하다. 실제 현장의 토질은 지질 조사만으로 정확히 알기 어렵고 같은 scoop 안에서도 매설 암석처럼 급변할 수 있어, 고정 trajectory를 정밀 추종하는 것보다 현재 저항을 감지해 경로 자체를 바꾸는 controller가 필요하다.

기존 kinematic trajectory optimization은 빠르지만 soil force와 machine torque limit를 무시하고, soil dynamics를 넣은 최적화는 trajectory 하나에 분 단위 계산과 사전 soil parameter가 필요하다. 사람이 만든 penetration·drag·scoop·lift 구간과 rule은 특정 기계에서 동작해도 새로운 토질·장비마다 calibration과 예외 처리가 늘어난다. force-reference 방식은 적응적이지만 standard excavator의 큰 valve deadband 때문에 고가의 high-performance servo valve retrofit이 필요했다.

해법은 FEE 토양을 넓게 randomize하고 joint torque·kinematics만 보는 정책으로 저항 적응을 학습하는 것이다.

원문 Figure 1, PDF 2쪽
원문 Figure 1 · PDF p.2 — Fig. 1. Excavating soil with abruptly changing properties during the same scoop with a 12-ton hydraulic excavator. A block of granite is buried in the first part of the scoop to emulate extremely hard soil.
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

RaiSim의 floating-base CAD model에 실제 velocity·torque limit와 friction 0.8 ground를 쓴다. 네 action은 joint velocity이며 leg·cabin은 고정한다.

soil force는 3D FEE separation과 edge·bottom penetration을 합치고 bucket path로 fill을 적분한다. 수평·균질·비압축 가정의 오차는 soil parameter randomization으로 흡수한다.

정책은 arm torque·kinematics·이전 command·soil height·fill ratio·bucket state·cabin pitch 등 27차원을 보고 네 joint velocity를 낸다. soil 값은 숨기며 torque 제거 정책은 보수적으로 변했다.

처리 파이프라인

1

경량 굴착 simulator

CAD rigid body를 RaiSim에 구성하고 실제 arm velocity·torque limit를 적용한다. bucket path와 analytical soil force를 Jacobian으로 joint torque에 변환해 2D digging interaction을 계산한다.

2

soil domain randomization

매 episode마다 cohesion 0~105 kPa, adhesion 0~cohesion, internal friction 0.3~0.8 rad, unit weight 17~22 kN/m³, bucket friction 0.2~0.4 rad, cavity factor 0~300을 uniform sample한다.

3

reward와 termination

처음에는 내려가고, soil을 채우며, full 또는 base에 가까우면 들어 올리고 curl하도록 R1~R4를 구성하고 action 변화 L1 penalty R5를 둔다. bucket 속도, base motion, self-collision, 비정상 자세를 넘으면 -1로 종료한다.

4

PPO 대규모 학습

128×128 LeakyReLU policy/value network와 GAE-PPO를 사용한다. 0.15 s control step, 최대 19.95 s episode, batch 68.1K로 약 3K update·2억 sample, 약 7시간 학습한다.

5

실기 velocity interface

12 t M545에서 cylinder pressure로 joint torque를 추정하고 IMU·arm/leg sensor로 자세·기구 상태를 얻는다. policy velocity를 PID+feed-forward valve-flow controller가 electric pilot-stage solenoid current로 변환한다.

6

hardware test

지면 위에서 시작해 soft, base-near, buried granite 조건을 반복하고 path-based fill, 시간, torque·velocity를 기록한다.

원문 수식과 의미

강화학습 목적

max⁡π  E[∑t=0∞γtrt]\max_{\pi}\;\mathbb{E}[\sum_{t=0}^{\infty}\gamma^t r_t]

정책 π가 다양한 random soil episode에서 미래 reward 합을 최대화해 빠른 filling과 안전 constraint를 함께 학습한다.

terminal curriculum factor

kj=1−exp⁡(−0.01j)k_j=1-\exp(-0.01j)

update j가 증가할수록 full ratio와 lift height의 성공 조건을 점차 엄격하게 만들어 초기 탐색과 최종 성능을 연결한다.

원문 Figure 2, PDF 4쪽
원문 Figure 2 · PDF p.4 — Fig. 2. Forces from the analytical soil model acting on the bucket. The angle between the bottom plate and its velocity is denoted with φ.
원문 Figure 3, PDF 5쪽
원문 Figure 3 · PDF p.5 — Fig. 3. Desired terminal state conditions (T1-T5). The policy actuates the four main arm joints θB, θD, XT , θP . The cabin height remains fixed, while the cabin pitch and soil height are randomized during training. The wheels are supported by patches of solid ground. The cabin frame is denoted with C and the world frame with W.
원문 Figure 4, PDF 6쪽
원문 Figure 4 · PDF p.6 — Fig. 4. Discounted reward during training. Parameters: Policy, value function hidden layers: 128, 128; Actor initial noise std.: 0.4, lower bound until update 1500: 0.1; Activation: LeakyReLU (α = 0.01); Discount factor: 0.99; Control ∆t: 0.15 s; Max. episode length: 19.95 s; Batch size: 68.1K; Entropy coeff.: 0.0; Learning rate: 5e-4; Value loss coeff: 0.5; Max. grad norm: 0.5; GAE λ: 0.95; Mini-batches: 4; Optimization epochs: 5; Clip range: 0.2

3.핵심 기술

FEE 기반 randomized soil interaction

separation·penetration·bottom friction·deadload를 analytical model로 계산한다. rigid-body dynamics보다 약 40배 빠르며 넓은 geotechnical randomization으로 model bias를 variation으로 바꾼다.

  • separation와 penetration force 중첩
  • 6개 soil parameter의 넓은 randomization
  • bucket path 적분으로 fill volume 근사

torque proprioception 기반 online 적응

soil 값 없이 pressure-derived joint torque와 kinematics로 penetration·drag·curl을 바꾼다. soft에서는 깊게 파고, hard에서는 dipper torque limit에서 얕고 길게 drag한다. torque 제거 정책은 보수적이었다.

  • 27차원 observation 중 4 joint torque
  • soil property는 hidden
  • 네 joint velocity action으로 standard valve 호환

안전 상태와 효율을 함께 형성하는 reward

fill·lift 성공조건과 과속·base 0.1 m/s·self-collision 종료를 함께 둔다. bucket 0.4 m/s부터 reward를 끄고 0.5 m/s에서 종료하며 action 변화도 벌점화한다.

  • bucket velocity 0.4 m/s reward margin과 0.5 m/s termination
  • base velocity 0.1 m/s 제한
  • self-collision보다 filling을 우선하지 않는 terminal logic

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

원문 Figure 5, PDF 7쪽
원문 Figure 5 · PDF p.7 — Fig. 5. Simulation experiments. Limits: Force/Torque: [−200, 140] kNm, [−130, 170] kNm, [−100, 190] kN, [−50, 85] kNm; Velocity: [−0.3, 0.3] rad/s, [−0.6, 0.6] rad/s, [−0.4, 0.4] m/s, [−0.8, 0.8] rad/s
원문 Figure 6, PDF 7쪽
원문 Figure 6 · PDF p.7 — Fig. 6 shows the results of testing the controller on the real machine in different scenarios. The bucket is placed manually above the ground before activating the controller. We repeat each experiment multiple times to verify the consistency and report the final bucket fill factor and the elapsed time. Note that the shovel fill factor is only an approximation as it is computed by integrating the bucket path through the soil and assumes that all the material ends up in the bucket. Joint torques and desired and measured velocities are shown for the bold bucket path. The other runs are shown in thin lines and show a similar course (torques and velocities are omitted for clearness of the plots). The variations arise from differences in the initialization and soil conditions which slightly change after each dig. Fig. 6a shows digging in soft to medium soil. The tra- jectories lie in between soft and medium soil in simulation (see Fig. 5a and Fig. 5b). Since the joint velocities do not perfectly follow the commands due to delays and deadzones in the hydraulic actuation [43], the bucket velocity slightly exceeds 0.4 m s−1. In Fig. 6b we place the bucket very close to the excavator. Since the agent was trained to avoid self-collisions, thus pulling the bucket up if it is too close to the machine, the bucket is only partially filled. To test the controller in hard soil, we buried a block of granite at a shallow depth because the soil on the test site is relatively soft. As is shown in Fig. 6c, the bucket can only penetrate to the depth of the rock and subsequently drags the bucket over the rock while still applying large forces also downwards with the boom joint, without lifting up the machine from the ground, similar to the simulation experiment (see Fig. 5c). This is essential to rip open hard ground and excavate efficiently. At the end of the block, the bucket reaches softer soil and penetrates deeper to build up again large forces to fill up the bucket quickly. The bucket velocity stays below the threshold of 0.4 m s−1 except for the moment of transition between hard and soft soil where the joint velocity controllers cannot react fast enough. Finally, we demonstrate that the machine is indeed capable of lifting itself up if the digging trajectory is not adjusted to the encountered soil conditions. We manually push the boom downwards while pulling the dipper towards the machine on the hard soil, as if we were to excavate a deep, round trajectory intended for soft soil (see Fig. 7). The joint torques, in particular also at the boom joint, are so high that the front wheels of the machine are lifted. The torque of the boom joint
원문 Figure 7, PDF 8쪽
원문 Figure 7 · PDF p.8 — Fig. 7. Manually trying to excavate a deep round trajectory in hard soil. We aborted the experiment because the machine was lifted up, which never happened using the proposed excavation controller.

핵심 결과 해석

simulation에서 soft soil은 10.0 s 전체, 5.9 s soil 내부로 fill ratio 1을 달성했고, medium soil은 9.3/5.1 s에 fill ratio 1이었다. hard soil은 arm 전체 작업범위를 drag해도 fill ratio 0.8에 그쳤지만 17.3/13.2 s 뒤 base 가까이의 self-collision을 피하려고 bucket을 들어 올렸다. 토질이 단단해질수록 penetration depth가 얕아지고 dipper가 torque limit에서 길게 drag하는 행동이 자연스럽게 나타났다.

실기 soft soil에서는 매 scoop가 완전히 찼고 total time 평균/표준편차는 9.6/0.53 s, in-soil은 6.0/0.20 s였다. base 가까이 시작한 경우에는 충전보다 self-collision 회피를 우선해 fill ratio 0.32/0.068, total 6.4/0.46 s, in-soil 3.4/0.26 s로 일찍 lift했다. 실패가 아니라 명시적 terminal preference가 실기에서도 유지된 사례다.

granite-soft 급변 조건에서는 block 위를 얕게 drag한 뒤 soft soil에서 더 깊게 들어가 매 scoop를 채웠다. total 12.0/0.17 s, in-soil 8.0/0.30 s였고 정책에서는 machine lift가 없었다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
simulation soft soilfill=1.0, total 10.0 s, in-soil 5.9 sc=0, ca=0, φ=0.4, γ=19 kN/m³, δ=0.4, pt=1PDF p.7
simulation hard soilfill=0.8, total 17.3 s, in-soil 13.2 sself-collision 회피를 위해 full 전에 liftPDF p.7
hardware soft soilfull each scoop; total 9.6±0.53 s, in-soil 6.0±0.20 ssoft-to-medium test field 반복 실험PDF p.8
hardware base-near startfill 0.32±0.068; total 6.4±0.46 sbase 3.0 m 이내 self-collision 회피 종료PDF p.8
hardware 급변 토질full each scoop; total 12.0±0.17 s, in-soil 8.0±0.30 s얕게 매설한 granite block 다음 soft soilPDF p.8
실패 사례와 경계조건
원문 Figure 6, PDF 8쪽
원문 Figure 6 · PDF p.8 — Fig. 6. Hardware experiments. Limits: As per Fig. 5.

5.한계 및 향후 연구

현재 한계

  • horizontal ground를 가정하고 soil height를 wheel height 평균으로 추정해 slope·uneven terrain perception을 사용하지 않는다.
  • bucket fill volume은 경로 적분과 모든 material 유지 가정에 의존해 실제 적재량·spillage를 직접 관측하지 않는다.
  • 균질·비압축 soil과 상수 torque limit를 쓰며 cabin을 고정한 2D motion이다.

향후 연구

  • perception으로 terrain slope·soil height를 observation에 넣고 analytical model의 sloped-terrain 기능을 활성화한다.
  • bucket load sensing 또는 elevation perception으로 fill volume을 직접 추정하고 spillage·compaction까지 reward에 반영한다.
  • buried object·position-dependent torque·cabin turn을 randomize한다.
  • building pit의 multi-scoop·주행·grading throughput을 평가한다.

6.한마디로 정리

핵심 방법은?

계산이 빠른 FEE 토양모델을 넓게 randomize하고 torque proprioception 기반 PPO가 네 joint velocity를 출력하게 한다.

핵심 결과는?

12 t 실기에서 soft soil과 granite-soft 급변 조건 모두 stall·machine lift 없이 bucket을 매회 채웠다.

한계는?

평지 2D, 상수 torque limit, 간접 fill 추정에 의존하며 전체 토공 생산성은 평가하지 않았다.

#학습·RL·IL·VLA#제어·MPC#시스템통합·현장실증#FEE 토양력 모델#domain randomization#PPO

나의 의견 / 우리 연구와의 연관성

pressure-derived torque와 kinematics로 unknown soil에 맞춰 penetration·drag·curl을 바꾸는 저수준 digging primitive다. standard-valve velocity interface라 상위 planner와 장비 적용에 유리하다.

상위 planner는 조기 종료를 안전·도달성 신호로 받아 다음 공격점이나 chassis reposition을 정해야 한다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거