2022 Precision_Motion_Control_of_Robotized_Industrial_Hydraulic_Excavators_via_Data-Driven_Model_Inversion-서울대(이동준)_요약

Precision Motion Control of Robotized Industrial Hydraulic Excavators via Data-Driven Model Inversion

한줄 요약

산업용 38톤급 유압 굴착기(Doosan DX380LC)의 입력 지연(input delay)과 사장대(dead-zone)를 물리 기반 모듈형 데이터 구동 모델로 학습하고, 그 역변환(model inversion)을 이용한 피드포워드 제어 + P 제어 프레임워크로 굴삭/정지 작업에서 경로 추종 RMSE 2 cm 이하의 정밀 제어를 달성한 연구이다.


1. 연구 배경

1.1 문제 정의

1.2 기존 연구의 한계

접근법 대표 연구 한계점
모델 기반 제어 [3]-[6] 유압 시스템의 단순화 모델링 → 제어 성능 저하
RL 기반 (단일 MLP) Egli & Hutter [7],[8] 파라미터 57,476개, 학습 10시간, 느린 속도(10-20 cm/s)에서만 검증
RNN 온라인 학습 Park et al. [9],[10] 굴삭 시 RMSE > 1 m의 큰 추적 오차
단일 액추에이터 힘 제어 Kim et al. [11] 대차원 히스토리 입력, dead-zone 미고려
Dead-zone 보상 [12],[13] 상태 의존성을 표현하지 못함

1.3 본 논문의 기여

  1. 물리 기반 모듈형 데이터 구동 모델: IIR unit + PL map + MLP로 입력 지연, dead-zone, 비선형 동역학을 분리 학습
  2. 모듈형 역변환 제어: 각 모듈을 독립적으로 역변환하여 학습 속도 대폭 향상
  3. 안정성/강건성 이론 보장: Proposition 1, Theorem 1으로 수학적 증명
  4. 실기 검증: 38톤급 상용 굴착기에서 토양 상호작용 하 RMSE < 2 cm 달성

2. 시스템 설명

400 Fig. 1. Doosan DX380LC 38톤급 산업용 유압 굴착기. IMU, 유압 압력 센서, Velodyne Puck VLP-16 LiDAR로 커스터마이징됨.

400 Fig. 2. 굴착기 관절 구성. 버킷 끝단 위치는 굴착기 베이스에 부착된 좌표계 {B}에서 관측.

2.1 센서 구성

센서 위치 목적
IMU Boom, Arm, Bucket 링크 관절 각도(joint configuration) 추정
유압 압력 센서 펌프 2개 + 실린더 6개(헤드/로드) 유압 상태 측정
Velodyne Puck VLP-16 LiDAR 차체 상부 지형 PCD 스캔 (궤적 계획용)
모멘텀 기반 렌치 추정기 소프트웨어 토양 상호작용력 추정 (F/T 센서 대체)

2.2 시스템 아키텍처

flowchart LR
    JS[조이스틱 신호<br/>u_t ∈ [-1,1]³] --> EPPR[EPPR 밸브]
    JS --> PUMP[펌프 제어<br/>제조사 제공]
    EPPR --> MCV[MCV<br/>스풀 밸브]
    PUMP --> MCV
    MCV --> CYL[유압 실린더<br/>Boom/Arm/Bucket]
    CYL --> JOINT[관절 각속도<br/>ω_t ∈ ℝ³]
    ENV[토양/환경] --> |외력 F_ext| CYL

3. 핵심 기술: 데이터 기반 모델 역변환 (Data-Driven Model Inversion)

700 Fig. 3. 데이터 기반 모델 역변환 프레임워크 및 오프라인 학습 스키마. 오른쪽: Excavator Plant Model (순방향), 왼쪽: Inversion Control (역방향). 각각 PL map, IIR unit, MLP 모듈로 구성.

3.1 Excavator Plant Model (순방향 모델)

조이스틱 신호 $u_t$로부터 관절 각속도 $\hat{\omega}_t$를 예측하는 3단계 모듈형 모델:

$$\eta_{f,t} = f_{\Gamma_t}(u_t) \tag{1}$$

$$\mathcal{Z}{\eta_{h,t}} = P(z)\,\mathcal{Z}{\eta_{f,t}} \tag{2}$$

$$\hat{\omega}t = h{\Gamma_t}(\eta_{h,t}) \tag{3}$$

여기서: - $f_{\Gamma_t}: [-1,1]^3 \to \mathbb{R}^{n_f}$ — Pre-delay map (PL map): 상태 의존 dead-zone 포착 - $P(z)$ — Delaying system (IIR unit): $n_h \times n_f$ LTI 전달함수 행렬, 다중 입력 지연 모델링 - $h_{\Gamma_t}: \mathbb{R}^{n_h} \to \mathbb{R}^3$ — Post-delay map (MLP): 잔여 비선형 동역학 및 커플링 - $\Gamma_t := (\theta_t, P_t^{\text{cyl}}, P_t^{\text{pump}}, F_t^{\text{ext}}) \in \mathbb{R}^{13}$ — 굴착기 상태 벡터

굴착기 상태 벡터 $\Gamma_t$의 구성:

변수 차원 설명
$\theta_t = (\theta_t^{\text{boom}}, \theta_t^{\text{arm}}, \theta_t^{\text{bucket}})$ $\mathbb{R}^3$ 관절 각도
$P_t^{\text{cyl}}$ $\mathbb{R}^6$ 실린더 헤드/로드 챔버 압력
$P_t^{\text{pump}}$ $\mathbb{R}^2$ 펌프 2개의 압력
$F_t^{\text{ext}}$ $\mathbb{R}^2$ 버킷 끝단 수평/수직 외력 (토양 상호작용)
flowchart LR
    subgraph PlantModel["Excavator Plant Model"]
        direction LR
        U["u_t<br/>조이스틱 신호"] --> F["f (PL map)<br/>Pre-delay map<br/>Eq.(1)"]
        F --> |"η_f,t"| P["P(z) (IIR unit)<br/>Delaying system<br/>Eq.(2)"]
        P --> |"η_h,t"| H["h (MLP)<br/>Post-delay map<br/>Eq.(3)"]
        H --> W["ω̂_t<br/>예측 각속도"]
    end
    STATE["Γ_t<br/>(θ, P_cyl, P_pump, F_ext)"] --> F
    STATE --> H

3.2 Excavator Plant Model Inversion Control (역변환 제어)

명령 관절 각속도 $\omega_t^{\text{cmd}}$로부터 조이스틱 신호 $u_t$를 계산하는 역방향 3단계:

$$\zeta_{h,t} = g_{h,\Gamma_t}(\omega_t^{\text{cmd}}) \tag{4}$$

$$\mathcal{Z}{\zeta_{f,t}} = C_P(z)\,\mathcal{Z}{\zeta_{h,t}} \tag{5}$$

$$u_t = g_{f,\Gamma_t}(\zeta_{f,t}) \tag{6}$$

여기서: - $g_{h,\Gamma_t}: \mathbb{R}^3 \to \mathbb{R}^{n_h}$ — Pre-control map (MLP): $h$의 유사 역함수 - $C_P(z)$ — Delay-tracking system (IIR unit): $n_f \times n_h$ LTI 전달함수 - $g_{f,\Gamma_t}: \mathbb{R}^{n_f} \to [-1,1]^3$ — Post-control map (PL map 유사역함수): $\text{PL}^+{\Phi{f,t}}$

Delay-tracking 조건 (최종값 정리, reference tracking):

$$\lim_{z \to 1} (z-1)\big(P(z)C_P(z) - I_{n_h}\big)\,\mathcal{Z}{t^{n_r}} = 0_{n_h \times n_h} \tag{7}$$

3.3 P 제어를 통한 강건성 확보

$$\omega_t^{\text{cmd}} := \omega_t^{\text{ref}} - K\,e_{\theta,t} \tag{8}$$

여기서: - $\omega_t^{\text{ref}} \in \mathbb{R}^3$: 레퍼런스 관절 각속도 - $e_{\theta,t} := \theta_t - \theta_t^{\text{ref}} \in \mathbb{R}^3$: 관절 각도 오차 - $K \in \mathbb{R}^{3 \times 3}$: P 게인 (양정치 행렬, 실험에서 $K = 1.5 I_3$)

flowchart LR
    TP[궤적 계획기] --> |"θ_ref, ω_ref"| PC[P Control<br/>Eq.8]
    SENSOR[센서 측정<br/>θ_t] --> PC
    PC --> |"ω_cmd"| INV[모델 역변환<br/>Eq.4→5→6]
    STATE["Γ_t"] --> INV
    INV --> |"u_t"| EXC[굴착기]
    EXC --> SENSOR
    EXC --> ENV[환경/토양]
    ENV --> |"F_ext"| STATE

3.4 안정성 분석

Proposition 1 (유계성, Boundedness): 가정: (a) 모델 예측 오차 $\delta_{\omega,t}$, 유사 역함수 오차 $\delta_{h,t}$, $\delta_{f,t}$가 유계; (b) $h_{\Gamma_t}$가 Lipschitz 연속; (c) $g_{h,\Gamma_t}$가 유계 함수 → $\nu_{\omega,t} := \omega_t - \omega_t^{\text{cmd}}$는 $\forall t \geq t_0$에서 유계.

증명 핵심: BIBO 안정성과 class $\mathcal{KL}$ 함수를 이용하여 $|\eta_{h,t} - \zeta_{h,t}|$의 유계성 확보

$$|\eta_{h,t} - \zeta_{h,t}| \leq \beta(|\eta_{h,t_0} - \zeta_{h,t_0}|,\, t-t_0) + \gamma_1!\left(\sup_{t_0 \leq \tau \leq t}|\zeta_{h,\tau}|\right) + \gamma_2!\left(\sup_{t_0 \leq \tau \leq t}|\delta_{f,\tau}|\right)$$

Theorem 1 (궁극적 유계성, Ultimate Boundedness): P 제어 (8)하에서 Lyapunov 함수 $V = \frac{1}{2}e_{\theta,t}^\top e_{\theta,t}$를 사용하여:

$$\dot{V} = e_{\theta,t}^\top \dot{e}{\theta,t} = -e{\theta,t}^\top K\,e_{\theta,t} + e_{\theta,t}^\top \nu_{\omega,t}$$

$$\dot{V} \leq -\lambda_{\min}(K)|e_{\theta,t}|^2 + |e_{\theta,t}||\nu_{\omega,t}|$$

→ 관절 각도 오차가 반경 $|\nu_{\omega,t}|/\lambda_{\min}(K)$의 폐구에 의해 궁극적으로 유계됨.

기존 데이터 기반 굴착기 제어 연구([7]-[10])에서는 제공하지 못한 이론적 안정성/강건성 보장


4. 신경망 모듈 상세 및 학습 과정

4.1 IIR Unit (Infinite Impulse Response Unit)

z-도메인 SISO LTI 전달함수:

$$H(z) = \frac{b_0 + b_1 z^{-1} + \cdots + b_{n_b} z^{-n_b}}{a_0 + a_1 z^{-1} + \cdots + a_{n_a} z^{-n_a}}$$

차분 방정식을 정규화하여 재배열:

$$y_t = \sum_{i=1}^{n_b} \bar{b}i(x{t-i} - x_t) - \sum_{i=1}^{n_a} \bar{a}i(y{t-i} - DC_H \cdot x_t) + DC_H \cdot x_t$$

여기서: - $\bar{b}_i := b_i / a_0$, $\bar{a}_i := a_i / a_0$: 정규화 계수 (학습 가능 파라미터) - $DC_H := H(1)$: DC 이득 (저주파 이득)

구현 사양: - $P(z)$: $3 \times 3$ IIR unit - 대각 성분: 3차 전달함수 ($n_b^{jk} = n_a^{jk} = 3$, $j = k$) - 비대각 성분: 0 ($n_b^{jk} = n_a^{jk} = 0$, $j \neq k$) - $DC_P := P(1)$: 대각이 1, 비대각이 0인 행렬

IIR unit 없이 학습된 제어기는 실기에서 치명적 진동(fatal oscillation) 발생

4.2 Piecewise Linear (PL) Map

단조 비감소(monotonically non-decreasing) n-segment PL map:

$$\text{PL}{(\mathcal{X},\mathcal{Y})}(x) = \frac{(Y_i - Y{i-1})x + X_i Y_{i-1} - X_{i-1} Y_i}{X_i - X_{i-1}}, \quad x \in [X_{i-1}, X_i)$$

유사 역함수: 단조성에 의해 $\text{PL}^+{(\mathcal{X},\mathcal{Y})} = \text{PL}{(\mathcal{Y},\mathcal{X})}$ (X와 Y를 교환)

Custom Activation Function (비감소 시퀀스 학습):

$$d_i = a + (b-a) \frac{\sum_{j=1}^{i} \exp(c_j)}{\sum_{j=1}^{n} \exp(c_j)}, \quad \forall i \in {1, 2, \ldots, n}$$

구현 사양: - Boom, Arm, Bucket 각각 8-segment PL map (3개 독립) - 보조 네트워크 $\phi_f$: hidden 64 ReLU → output $8 \times 6$ with $\sigma_{[-1,1]}$ - 경계 breakpoint: $X_0^k = Y_0^k = -1$, $X_{n_k}^k = Y_{n_k}^k = 1$

400 Fig. 4. Pre-delay map $f_{\Gamma_t}$ (좌) 및 Delaying system $P(z)$ (우) 시각화. PL map은 그레이딩 작업 중 버킷 조이스틱 신호의 상태 의존 pre-delay map을 보여줌. IIR step response에서 boom/arm/bucket의 5% 정착 시간은 각각 (0.41, 0.33, 0.26) [s].

4.3 Post-delay Map (MLP)

4.4 오프라인 학습 과정

Plant Model 학습

$$\mathcal{L}^{\text{plant}} := |\hat{\omega}_t - \omega_t|^2$$

Inversion Control 학습

$g_f$ (Post-control map): $\text{PL}^+{\Phi{f,t}}$로 분석적으로 계산 → 학습 불필요

$C_P(z)$ (Delay-tracking system): 분석적으로 구성 - 학습된 $P(z)$의 불안정 영점 → 정확한 역함수 불존재 - Reference tracking 조건 (7)을 $n_r \in {0, 1}$에 대해 충족 - 극점: 0.82 (중복도 2)로 경험적 최적화

$g_h$ (Pre-control map): Distal learning [16]

$$\mathcal{L}h^{\text{inv}} := |\check{\omega}_t - \omega_t|^2, \quad \check{\omega}_t := (h{\Gamma_t} \circ g_{h,\Gamma_t})(\omega_t)$$

700 Fig. 5. 관절 각속도 예측(상단) 및 조이스틱 신호 복원(하단): 굴삭(좌) 및 그레이딩(우) 테스트 데이터. Dead-zone 구간에서 서로 다른 조이스틱 신호가 동일 응답을 유발할 수 있으므로 복원 신호와 기록 신호 간 불일치가 나타남.

4.5 학습 데이터

항목 수치
총 데이터 2.6M 타임스텝 (100 Hz) = 7.2시간
최소 요구 데이터 1.2M 타임스텝 = 3.3시간
데이터 분할 Train 80% : Val 15% : Test 5%
데이터 소스 자율 굴삭/그레이딩 + 정현파 조이스틱 신호
학습 환경 AMD Ryzen 5 3600X, 16GB RAM, GTX 1660 Ti

본 방법 vs 기존 RL 방법 [7] 비교:

항목 본 연구 Egli & Hutter [7]
파라미터 수 9,160 57,476
학습 시간 2시간 10시간
학습 데이터 2.6M 0.72M
속도 66-87 cm/s 10-20 cm/s

5. 실험 결과

실험 플랫폼: Doosan DX380LC (38톤급 상용 유압 굴착기)

5.1 실험 설정

5.2 굴삭(Digging) 결과

700 Fig. 6. 굴삭 작업 중 버킷 끝단 위치(좌상), 외력(좌하), 성능 평가(우). 다양한 굴삭 깊이/체적에 대한 반복 실험 결과. 굵은 선은 평균, 음영 버킷은 2초 간격 평균 버킷 형상.

지표 제조사 PI 제어 제안 방법 개선율
Path following RMSE 5.79 cm 1.99 cm 65.6%
Trajectory RMSE 25.0 cm 5.21 cm 79.2%
RMS 버킷 끝단 속도 66.2 cm/s 66.3 cm/s 동등
RMS 외력 4.31 x 10^4 N 6.41 x 10^4 N 더 큰 외력에서도 정밀

5.3 그레이딩(Grading) 결과

700 Fig. 7. 반복 그레이딩 작업 실험 결과. 굴삭 후 지표면을 정지하는 작업.

지표 제조사 PI 제어 제안 방법 개선율
Path following RMSE 5.28 cm 1.83 cm 65.3%
Trajectory RMSE 15.1 cm 3.17 cm 79.0%
RMS 버킷 끝단 속도 87.2 cm/s 87.3 cm/s 동등
RMS 외력 2.69 x 10^4 N 2.23 x 10^4 N -

토양 상호작용 유무와 관계없이 균일하게 작은 오차 → 역변환 모델이 외력의 효과를 포착/보상


6. 전체 프레임워크 요약

flowchart TB
    subgraph DataCollection["데이터 수집 (오프라인)"]
        D1["자율 굴삭/그레이딩 데이터"]
        D2["정현파 조이스틱 데이터"]
        D3["2.6M 타임스텝, 7.2시간"]
    end

    subgraph PlantLearning["Plant Model 학습 (~2시간)"]
        PL1["PL map (f): dead-zone 학습"]
        PL2["IIR unit (P): 입력 지연 학습"]
        PL3["MLP (h): 비선형 동역학 학습"]
    end

    subgraph InvLearning["Inversion 학습 (~5분)"]
        IL1["PL⁺: 분석적 유사역함수"]
        IL2["C_P(z): 분석적 delay-tracking"]
        IL3["MLP (g_h): Distal learning"]
    end

    subgraph Control["실시간 제어 (100 Hz)"]
        C1["P 제어: 강건성 확보"]
        C2["모델 역변환: 동역학 보상"]
        C3["조이스틱 신호 출력"]
    end

    DataCollection --> PlantLearning
    PlantLearning --> InvLearning
    InvLearning --> Control

7. 한계 및 향후 연구

7.1 현재 한계

7.2 저자 제시 향후 방향

  1. 상태 의존 지연 시스템으로 Plant Model 일반화
  2. 전문가 모방 궤적 계획 [15] 통합
  3. OTA(Over-the-Air) 프로그래밍으로 데이터 수집/제어 업데이트 효율화
  4. 다른 제어 전략과의 체계적 비교 (e.g., Bayesian optimization [17])
  5. 지연과 dead-zone이 있는 다른 시스템으로의 확장 적용

8. 한마디로 정리


9. 나의 의견

(작성 예정)