ETH Zurich2020#055학습·RL·IL·VLA논문 PDF

데이터 기반 유압 RL 제어

Towards RL-based hydraulic excavator automation

한줄 요약 — 관절·밸브·엔진 회전수·유온 이력으로 4개 유압 액추에이터의 결합 동역학을 학습하고, 그 신경 시뮬레이터의 TRPO 정책이 파일럿 밸브 전류를 직접 출력해 12톤 굴착기의 말단을 안정화했으나 실험은 수평 차체의 2차원 자유공간에 한정된 무부하 sim-to-real이다.

1.연구 배경 및 동기

기계별 유압 모델과 게인 튜닝을 데이터로 대체할 수 있는가

상용 유압 굴착기의 팔 위치제어는 유압 결합, 실린더 마찰, 밸브 데드존, 입력 지연 때문에 선형 제어기로 다루기 어렵다. 같은 모델의 장비라도 제작 공차와 마모가 다르고, 엔진 회전수와 오일 온도 및 작업 자세에 따라 응답이 달라진다. 특히 연구에 사용한 12 t Menzi Muck M545는 디퍼 링크가 비표준이고 붐 실린더가 캐빈 아래에 있어 전체 기구를 정밀 계측해 해석모델을 만드는 비용이 크다. 저자들은 이 문제를 기계별 모델 식별과 게인 조정이 아니라 운전 데이터로 흡수하는 제어 합성 문제로 바꾼다.

목표는 굴착기 링크 길이와 관절 상태만으로 삽 접촉점의 목표 위치를 주면, 정책이 네 개 팔 액추에이터의 파일럿 밸브 전류를 바로 생성하도록 하는 것이다. 실제 장비에서 모은 입출력 데이터로 비선형 액추에이터 모델을 지도학습하고, 그 모델을 고정한 시뮬레이터에서 강화학습 정책을 훈련한 다음 출력 필터나 사후 보정 없이 실차에 배치한다. 논문은 이를 전 크기 굴착기에 시뮬레이션 학습 RL 정책을 직접 배치한 최초 사례로 규정하며, 자유공간 위치 스텝과 원형 궤적을 통해 가능성을 검증한다.

원문 Figure 1, PDF 2쪽
원문 Figure 1 · PDF p.2 — Fig. 1. Menzi Muck M545, a 12t hydraulic walking excavator.
원문 Figure 2, PDF 3쪽
원문 Figure 2 · PDF p.3 — Fig. 2. Non-standard dipper joint linkage on the Menzi Muck M545.
원문 Figure 3, PDF 3쪽
원문 Figure 3 · PDF p.3 — Fig. 3. Side view of the Menzi Muck M545 and its 4 main arm joints that are controlled to reach a desired shovel contact position relative to the cabin in task-space.
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

방법은 데이터 수집, 액추에이터 모델 학습, RL 제어기 학습, 실차 직접 배치의 네 단계다. M545의 붐·디퍼·텔레스코픽·삽 관절에 대해 관절 위치와 속도, 정규화된 밸브 명령, 엔진 회전수, 유압유 온도를 기록한다. 액추에이터 모델은 현재 관절속도만 베끼는 해를 피하도록 다음 속도 자체가 아니라 두 시점의 속도 차이를 예측하며, 예측 속도는 시간 적분해 관절 위치로 전개된다.

제어 정책은 목표 삽 접촉점과 현재 말단 상태, 액추에이터 모델과 동일한 상태·명령 이력을 관측하고 네 개 밸브 설정값을 출력한다. 10 s 에피소드마다 임의 자세와 유효 목표를 표본화하고, 데이터에서 관측된 범위의 유온과 엔진 rpm을 다시 표본화한다. 관절한계·자기충돌·지면충돌이면 -1로 종료하며, 목표거리 보상과 입력 크기·입력 변화 페널티를 결합해 안정적이고 매끄러운 제어를 유도한다.

처리 파이프라인

1

실차 계측과 탐색 명령

Sick 드로와이어 센서로 실린더 변위를 0.01 mm 해상도로 읽고 미분해 속도를 얻는다. 붐·디퍼는 충돌을 피하도록 게임패드로 기본 신호를 주고, 텔레스코픽·삽은 무작위 램프를 사용한다. 여기에 최대 약 2 Hz의 진폭·주파수 변조 사인을 중첩해 2시간 동안 100 Hz로 작업영역을 탐색한다.

2

결합 액추에이터 신경모델

3개 은닉층과 층당 128 ReLU 노드인 단일 MLP가 네 관절을 함께 모델링한다. 최근 0.1 s 관절속도 이력, 0.99 s 밸브명령 이력, 현재 관절위치, 엔진 rpm, 유온에서 0.01 s 뒤 관절속도를 예측해 공동 유압공급에 의한 결합과 최대 0.7 s 입력지연을 포함한다.

3

지도학습과 롤아웃 점검

입력을 평균 0·표준편차 1로 정규화하고 Adam과 MSE로 단일 배치 20,000 epoch를 학습한다. 학습 90%와 검증 10%를 분리하고, 실차와 모델에 동일 명령을 주되 모델은 자기 예측상태로 전진시켜 장시간 누적오차와 지연 재현을 확인한다.

4

TRPO 정책 최적화

정책망과 가치망은 각각 2층·128 ReLU MLP다. TRPO와 GAE로 10 Hz 행동 정책을 학습하고 액추에이터 모델은 100 Hz로 적분한다. 할인율 0.99, 입력 크기 및 입력 변화 페널티, 200/400 반복 동안 1에서 10으로 증가하는 커리큘럼 계수를 사용한다.

5

노이즈 주입과 운전조건 랜덤화

관절 위치·속도, 말단 위치·속도, 엔진 rpm, 밸브 입력에 원문에 명시된 균등 백색잡음을 더하고 에피소드마다 유온과 rpm을 실측 범위에서 뽑는다. 학습 모델의 작은 편차와 실차 센서·구동 오차를 정책이 견디게 하는 단계다.

6

실차 직접 배치와 비교

학습된 정책 출력을 보정 없이 Hawe PMZ 파일럿단 비례감압밸브에 전달한다. 정책은 학습 때 10 Hz였지만 실차에서는 100 Hz로 실행하며, 1 m 위치 스텝과 작업공간 여러 위치의 원형 궤적에서 수동 튜닝 계층형 IK 제어기와 비교한다.

원문 수식과 의미

데이터 수집용 변조 사인 신호

s(t)=0.3sin⁡(2π0.02t+ϕ1) sin⁡(2π(t+0.99sin⁡(2π0.1t)+ϕ2))s(t)=0.3\sin(2\pi 0.02t+\phi_1)\,\sin(2\pi(t+0.99\sin(2\pi 0.1t)+\phi_2))

관절별 위상차를 둔 사인을 기본 명령에 중첩해 액추에이터 속도대역보다 넓은 약 2 Hz까지 자극하면서 작업영역을 덮는다.

RL 보상

rt=rg,t+ru,t+rr,t,rg,t=0.005(0.5+e−kc,1∥χt∗−χt∥2),ru,t=−0.0005kc,2∥ut∥2,rr,t=−0.025kc,2∥ut−ut−1∥2r_t=r_{g,t}+r_{u,t}+r_{r,t},\quad r_{g,t}=0.005(0.5+e^{-k_{c,1}\lVert\chi_t^*-\chi_t\rVert^2}),\quad r_{u,t}=-0.0005k_{c,2}\lVert u_t\rVert^2,\quad r_{r,t}=-0.025k_{c,2}\lVert u_t-u_{t-1}\rVert^2

목표 삽 위치 오차를 줄이되 큰 밸브입력과 급격한 입력변화를 벌한다. 마지막 항이 매끄러운 실차 명령에 특히 중요하며 커리큘럼 계수가 학습 난도를 점차 높인다.

원문 Figure 4, PDF 3쪽
원문 Figure 4 · PDF p.3 — Fig. 4 shows an overview of our approach. First, an actuator model is trained based on input-output data collected
원문 Figure 5, PDF 4쪽
원문 Figure 5 · PDF p.4 — Fig. 5. Valve current setpoint command u ∈[−1, 1] (fully closed/open) for data collection (blue) consists of a base signal (red) that ensures coverage of the joint’s motion range and a modulated sine (yellow, see eq. 1).
원문 Figure 6, PDF 5쪽
원문 Figure 6 · PDF p.5 — Fig. 6. Actuator model performance with joint velocities and inputs (top) and positions (bottom). Starting from the same state, the output of the model is compared to the measurements on the machine. The same inputs are applied to the model and the machine, the model however is rolled forward based on its own predicted states.

3.핵심 기술

지연·데드존·결합을 담는 이력 기반 액추에이터 모델

핵심은 각 실린더를 독립 모델로 보지 않고 네 액추에이터를 하나의 네트워크에 넣는 것이다. 같은 펌프와 어큐뮬레이터에서 유량을 나누므로 여러 관절을 빠르게 움직일 때 엔진 rpm이 순간 저하되고 응답이 바뀐다. 속도·명령 이력과 rpm·유온을 함께 주고 속도 증분을 예측해 결합, 마찰, 지연과 항등복사 위험을 함께 다룬다.

  • 밸브 이력 0.99 s, 0.03 s 간격 표본
  • 관절속도 이력 0.1 s
  • MLP 3×128 ReLU, 네 액추에이터 공동 출력
  • 엔진 rpm·유압유 온도를 운전조건 변수로 포함

말단 목표에서 파일럿 밸브까지 직접 학습하는 TRPO 정책

정책은 별도 역기구학과 속도 PID 없이 목표 삽 위치에서 네 밸브 명령까지 직접 매핑한다. 여유자유도, 비선형 응답, 관절한계 회피를 함께 학습하며, 한계·충돌을 종료조건으로 경험해 IK 제어기가 텔레스코픽 한계에 닿은 원형 궤적에서도 급변을 피했다.

  • TRPO actor-critic와 GAE
  • 정책·가치망 각각 2×128 ReLU
  • 10 s 무작위 목표 에피소드
  • 출력 후 필터·수동 보정 없음

표준 파일럿단 밸브를 유지한 실차 sim-to-real

M545는 steer-by-wire가 아니므로 Hawe PMZ 비례감압밸브를 파일럿단에 병렬 장착했다. 고가 메인단 서보밸브 없이 정책이 전류 설정값을 직접 명령하며, 큰 위치 스텝과 학습하지 않은 원형 궤적을 추종했다. 다만 이는 수평 차체의 2차원 자유공간 sim-to-real 입증이다.

  • 12 t Menzi Muck M545
  • 붐·디퍼·텔레스코픽·삽 4관절
  • 실차 실행 100 Hz
  • 삽 접촉점의 캐빈 상대 2D 위치제어
원문 Figure 4, PDF 4쪽
원문 Figure 4 · PDF p.4 — Fig. 4. Architecture overview. The actuator model is trained on input-output data collected on the machine. In simulation the actuator model replaces the physical machine to train a control policy with RL. The controller as well as the actuator model take a history of past states as inputs.

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

원문 Figure 7, PDF 6쪽
원문 Figure 7 · PDF p.6 — Fig. 7. Shovel position reference step in x direction (top) and corresponding valve setpoints (bottom) relative to the cabin.
원문 Figure 8, PDF 6쪽
원문 Figure 8 · PDF p.6 — Fig. 8. Circular trajectory tracking in free-space (top). Distances are measured relative to the cabin position. Valve current setpoints generated by the learned controller (middle) and for the IK controller (bottom) for the circular trajectory starting at x=4.75m, z=0.69m.

핵심 결과 해석

액추에이터 모델은 검증 데이터에서 네 관절 모두 항등 예측보다 낮은 속도 RMSE를 냈다. 특히 명령·속도 이력을 사용해 최대 0.7 s 응답지연을 재현했고, 텔레스코픽 롤아웃은 모델의 이전 예측을 다시 입력하는 조건에서도 넓은 동작범위에 걸쳐 실차 위치·속도와 가깝게 유지됐다. 이는 RL 환경이 단일 스텝 회귀뿐 아니라 연속 폐루프 학습에 사용할 만한 동특성을 담았다는 근거다.

학습 정책은 1 m 위치 스텝을 안정화했고 6개 원형 궤적을 직접 학습하지 않았는데도 평균 7.8 cm, 최대 13.5 cm 오차로 추종했다. 전용 IK 제어기의 1.4 cm·3.6 cm보다 정확도는 낮고 정규화 지표도 0.61 s 대 0.14 s로 불리하다. 저자들은 정책이 기준속도를 입력받지 않아 움직이려면 목표와 오프셋이 필요하다는 구조적 이유를 짚는다. 그럼에도 기계별 게인 조정 없이 2시간 데이터로 얻은 정책을 표준 파일럿 밸브 장비에 그대로 옮겨 안정 제어했다는 것이 주된 결과다.

실차 100 Hz 실행은 학습의 10 Hz보다 성능을 높였고, RL 정책은 IK가 명령 급변을 보인 텔레스코픽 관절한계를 피했다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
액추에이터 검증 RMSE2.28, 2.10, 2.44, 7.96 ×10^-3 [rad 또는 m]/s검증 10%에서 boom·dipper·telescope·shovel 순서; identity는 3.58, 4.00, 4.64, 11.36PDF p.5
학습 정책 원형궤적 평균·최대 오차7.8 cm / 13.5 cm작업공간의 6개 원형 궤적 평균; IK는 1.4 cm / 3.6 cmPDF p.6
정규화 성능지표 ρ0.61 s학습 정책; IK 비교기는 0.14 sPDF p.6
데이터·액추에이터 모델 학습 시간실차 데이터 2 h, 모델 약 10 h100 Hz 수집과 20,000 epoch 지도학습PDF p.4
실차 제어주기100 Hz10 Hz로 학습한 정책을 실차에서 100 Hz로 직접 실행PDF p.6
실패 사례와 경계조건

5.한계 및 향후 연구

현재 한계

  • 토양 상호작용이 없는 자유공간 실험뿐이며, 압력 또는 액추에이터 하중을 입력으로 사용하지 않았다.
  • 캐빈 선회축을 제어하지 않아 네 팔 관절의 x-z 평면, 즉 2차원 말단 위치만 다룬다.
  • 말단 자세와 기준속도를 명령하지 않아 전용 궤적제어기보다 원형 추종오차가 크다.
  • 캐빈이 수평이라는 가정 때문에 거친 경사에서 중력방향 변화가 모델·정책 입력에 반영되지 않는다.
  • 2시간의 한 장비 데이터로만 검증되어 장비 노화·적재·다른 굴착기 형식으로의 전이성은 실험하지 않았다.

향후 연구

  • 정책 입력에 기준속도와 말단 자세 목표를 추가해 연속 궤적의 정상상태 오프셋을 줄인다.
  • 캐빈 선회 액추에이터 모델을 추가해 삽의 임의 3차원 목표 위치를 팔과 선회축으로 분담한다.
  • IMU로 중력방향을 측정해 액추에이터 모델과 정책 상태를 확장하고 경사 차체 조건을 처리한다.
  • 실린더당 압력센서 두 개로 부하를 계측하고 굴착 데이터를 수집해, 단순 토양모델과 동역학 랜덤화를 결합한 접촉 작업 RL로 확장한다.
  • 실차 온라인 학습으로 새 데이터를 반영한다.

6.한마디로 정리

핵심 방법은?

실차 이력으로 네 유압 액추에이터의 결합 신경모델을 만들고 그 모델 안에서 TRPO 정책이 목표 삽 위치에서 파일럿 밸브 전류까지 직접 학습하게 했다.

핵심 결과는?

수정 없는 sim-to-real로 12 t 굴착기의 1 m 스텝을 안정화하고 원형 궤적 평균 7.8 cm를 달성했으나, 전용 IK의 1.4 cm보다는 낮았다.

한계는?

성과는 수평 차체·2차원·자유공간에 한정되며 토양 하중, 선회축, 기준속도·자세 명령 및 장비 간 일반화가 남았다.

#학습·RL·IL·VLA#제어·MPC#신경 유압 액추에이터 모델#강화학습#sim-to-real

나의 의견 / 우리 연구와의 연관성

자율굴착 시스템 관점에서 이 논문은 작업계획보다 아래쪽의 유압 실행계층을 자동으로 만드는 방법을 제시한다. 상위 계획기가 버킷 위치·속도·힘 목표를 생성해도 파일럿 밸브의 데드존과 지연을 안정적으로 역변환하지 못하면 실차 성능이 무너진다. 실차 로그에서 만든 신경 액추에이터 모델을 정책 학습용 디지털 대리모델로 쓰는 구조는 장비별 제어기 튜닝 비용을 줄이는 현실적인 경로다.

다만 현 단계의 정책을 곧바로 굴착에 적용할 수는 없다. 접촉작업에서는 실린더 압력, 토양저항, 차체 자세와 지지상태가 필수 상태가 되고 안전 제약도 힘·관절·충돌 한계를 명시해야 한다. 따라서 이 연구는 힘 기반 굴착 상태기나 작업계획기와 결합될 저수준 데이터 기반 유압 제어 모듈로 보는 것이 정확하다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거