Baidu Research2022#029환경인식논문 PDF 기반 카드

VINet: 시각·관성 기반 지형 분류와 미지 지형 적응 주행

VINet: Visual and Inertial-based Terrain Classification and Adaptive Navigation over Unknown Terrain

Tianrui Guan, Ruitao Song, Zhixian Ye, Liangjun Zhang

한줄 요약 — VINet은 영상 외관과 주행 중 관성 반응을 함께 사용해 미지 지형을 가장 적합한 기지 지형 제어기로 대응시키고, 선택된 지형별 Gaussian-process 구동 모델을 NMPC에 연결한다. 소형 궤도 로봇에서 기지 지형 분류 98.37%, 미지 지형 분류 76.48%와 비적응 기준 대비 횡오차 RMSE 10.3% 개선을 보고했다.

1.연구 배경 및 동기

지형 이름보다 제어 성능을 예측하는 시각·관성 분류

야외 이동로봇은 콘크리트, 흙, 잔디, 자갈처럼 마찰과 변형 특성이 다른 표면을 연속해서 지난다. 같은 PWM 명령도 지형에 따라 실제 선속도와 각속도가 달라지므로 한 가지 운동 모델로 제어하면 추종 오차가 커진다. 특히 학습에 없던 지형을 단순히 unknown으로 거부하는 것만으로는 즉시 주행을 계속해야 하는 필드로봇의 제어 문제를 해결하지 못한다.

VINet은 미지 지형에 새로운 이름을 붙이는 대신, 이미 학습된 지형별 제어기 중 어느 것이 그 표면에서 가장 낮은 궤적 오차를 내는지를 분류 레이블로 삼는다. 전방 RGB patch가 제공하는 외관과 IMU·PWM 시퀀스가 제공하는 실제 차체 반응을 공유 임베딩에 정렬하고, 선택된 클래스에 대응하는 Gaussian-process 구동 모델을 비선형 모델예측제어에 사용한다.

이 설계는 terrain classification과 adaptive navigation을 한 평가 기준으로 묶는다. 저자들은 11개 지형을 모두 기지 클래스로 학습한 폐집합 조건과, 5개 기지 지형의 제어기를 6개 미지 지형에 대응시키는 조건을 나누어 분류 성능을 측정한다. 마지막으로 알려진 mulch·soil과 미지 artificial grass가 섞인 경로에서 고정 제어기와 적응 제어기의 횡방향 추종 오차를 비교한다.

원문 Figure 1, PDF 1쪽
원문 Figure 1 · PDF p.1 — Fig. 1: Semantic labels v.s. Navigation-based labels: The tra- ditional classification (left) has semantic-based labels, which are unambiguous but not generalizable to unknown terrain because the prediction would be meaningless. Our proposed navigation-based classification (right) recasts the terrain labels to known classes based on navigation properties distinguished by different inertial feedback as part of the training data to train our proposed VINet, which can outperform other existing methods on both semantic-based and navigation-based labeling.
선행 연구의 한계
이 연구의 기여

2.방법론 및 시스템 구성

VINet은 전방 카메라에서 로봇이 곧 밟을 128×128 RGB patch를 추출하고, 현재 구간의 6축 IMU와 모터 PWM 시퀀스를 함께 입력한다. 영상 branch는 ImageNet으로 사전학습한 EfficientNet-B0 특징을 저차원 임베딩으로 투영한다. 관성 branch는 가속도·각속도와 PWM을 묶은 시퀀스에 self-attention을 적용한 뒤, attention map의 대각 성분을 기준으로 지형 특징 기여가 낮은 동적 성분을 제거한다.

두 branch는 공유 차원의 표현으로 맞춰지고 학습 중 mean-squared error로 서로 가까워진다. 지형 분류에는 cross-entropy를 사용한다. 알려진 지형은 자기 클래스가 레이블이지만, 미지 지형은 각 기지 지형용 제어기를 실제로 적용했을 때의 trajectory MSE가 가장 작은 클래스를 레이블로 받는다. 추론된 클래스는 해당 지형에서 학습한 RBF-kernel Gaussian process를 선택하고, 이 모델이 NMPC의 선속도·각속도 명령을 좌우 궤도 PWM으로 변환한다.

처리 파이프라인

1

1. 내비게이션 기반 레이블 생성

기지 지형은 본래 클래스 번호를 사용한다. 미지 지형에서는 각 기지 지형 제어기를 같은 경로에 적용하고 trajectory MSE가 가장 낮은 제어기의 번호를 정답으로 정해, 분류 결과가 바로 제어기 선택으로 이어지게 한다.

2

2. 전방 지형 patch 추출

Logitech C920 영상에서 로봇 앞의 128×128 RGB patch를 잘라 아직 진입하지 않은 표면의 외관을 제공한다. 영상은 IMU 반응보다 먼저 지형 전환을 감지할 수 있다.

3

3. EfficientNet 영상 임베딩

EfficientNet-B0가 1280채널 7×7 특징을 만들고 linear, batch normalization, dropout을 거쳐 d차원 F_img로 압축한다. ImageNet 사전학습은 4,923장 규모 데이터에서 외관 표현의 초기화를 돕는다.

4

4. IMU·PWM 시퀀스 구성

30 Hz 6축 IMU의 가속도와 각속도에 m개 모터 PWM을 붙여 D×(6+m) 행렬 H를 만든다. PWM을 포함함으로써 관성 반응이 어떤 구동 입력에서 발생했는지를 함께 해석한다.

5

5. 관성 attention과 denoising

query, key, value 변환으로 attention map을 만들고, 대각 성분의 기여도를 정렬해 하위 동적 특징을 제거한다. 실험 설정은 D=60, 제거 비율 f_s=5/6으로 관성 시퀀스의 지형 관련 패턴을 남긴다.

6

6. 공유 임베딩 정렬

영상과 관성 branch의 출력을 같은 차원에 투영하고 채널별 학습 가중치로 결합한다. 두 특징 사이 MSE와 분류 cross-entropy를 함께 최적화해 외관과 차체 반응이 동일 지형 표현에 모이게 한다.

7

7. 기지 제어기 클래스 추론

softmax 출력에서 가장 높은 클래스를 선택한다. 미지 표면도 별도 unknown 상태로 남기지 않고, 실험적으로 추종오차가 가장 작았던 기지 제어기 중 하나에 대응된다.

8

8. 지형별 Gaussian-process 구동 모델

각 기지 지형에서 약 1,500쌍의 목표 속도 u와 PWM S를 수집해 RBF kernel GP를 학습한다. 이는 지형마다 다른 슬립과 구동 응답을 비모수적으로 근사한다.

9

9. NMPC 적응 경로 추종

NMPC가 위치·방향 상태와 참조 경로로 선속도 v, 각속도 omega를 최적화하면 선택된 GP가 이를 PWM으로 변환한다. 지형 분류가 바뀌면 구동 모델도 전환되어 경로 추종을 적응시킨다.

원문 수식과 의미

미지 지형의 제어기 레이블

ci=arg⁡min⁡xMSE⁡i(px),i∈Tuc_i=\arg\min_x\operatorname{MSE}_i(p_x),\quad i\in T_u

미지 지형 i에서 후보 기지 제어기 p_x를 실행했을 때 trajectory MSE가 최소인 제어기 인덱스를 학습 레이블로 정한다.

관성 self-attention

Fattn=softmax⁡(k(H)Tq(H))Tv(H)F_{attn}=\operatorname{softmax}(k(H)^Tq(H))^Tv(H)

IMU와 PWM 시퀀스 H의 시간·채널 관계를 attention으로 가중해 지형 반응 특징을 만든다.

다중모달 정렬 손실

LMSE=∑(Fimg−Fimu)2L_{MSE}=\sum(F_{img}-F_{imu})^2

영상 외관 임베딩과 관성 반응 임베딩을 같은 지형 표현으로 가깝게 만든다.

궤도차량 운동학

x˙=vcos⁡θ,y˙=vsin⁡θ,θ˙=ω\dot{x}=v\cos\theta,\quad \dot{y}=v\sin\theta,\quad \dot{\theta}=\omega

NMPC가 사용하는 평면 상태 x_c, y_c, theta와 제어 입력 v, omega의 관계다.

RBF Gaussian-process kernel

κ(ui,uj)=σf2exp⁡[−12(ui−uj)TL−2(ui−uj)]+σn2\kappa(u_i,u_j)=\sigma_f^2\exp[-\tfrac{1}{2}(u_i-u_j)^TL^{-2}(u_i-u_j)]+\sigma_n^2

목표 속도와 PWM 사이의 지형별 비선형 구동 관계를 학습하는 GP의 커널이다.

원문 Figure 2, PDF 3쪽
원문 Figure 2 · PDF p.3 — Fig. 2: Architecture of our proposed network VINet: Our proposed network consists of two branches: an image branch and an IMU branch. We use EfficientNet-B0 as the image backbone, and for the IMU branch, we present a novel attention-based IMU denoising module. Each branch acts as a feature extractor and maps the visual and inertial data to a shared embedding space for the final prediction.
원문 Figure 3, PDF 4쪽
원문 Figure 3 · PDF p.4 — Fig. 3: Adaptive control framework: The known terrain types (a to e) are mulch, grass, black carpet, soil, and concrete; the unknown terrain types (f to k) are small rocks, smooth tiles, green carpet, rocky surface, wood rocks, and asphalt.

3.핵심 기술

제어 성능으로 정의한 미지 지형 유사도

VINet의 클래스는 반드시 물리적 재질 이름과 일치하지 않는다. 미지 표면을 콘크리트와 시각적으로 닮았다고 부르는 대신, 콘크리트용 GP와 제어기를 적용했을 때 가장 낮은 trajectory MSE가 나오면 그 클래스로 레이블한다. 따라서 분류의 정답이 곧 실행할 제어 정책의 선택이다.

이 방식은 새로운 표면마다 즉시 새 제어기를 학습하지 않고 기존 제어기 라이브러리에서 가장 유용한 항목을 재사용한다. 다만 모든 미지 지형을 기존 클래스 중 하나로 강제 배정하므로 어느 제어기도 안전하지 않은 경우를 거부하는 장치는 없다.

  • 5개 기지 지형은 black carpet, concrete, grass, soil, mulch다.
  • 6개 미지 지형은 green carpet, smooth tiles, rocky surface, wood rocks, asphalt, small rocks다.
  • 레이블 생성에는 후보 제어기의 실제 trajectory MSE가 필요하다.

외관 예측과 접촉 반응의 상호 보완

영상 branch는 로봇이 표면에 닿기 전에 전환을 볼 수 있지만 빛과 색에 민감하다. IMU branch는 실제 슬립과 진동을 반영하지만 진입 이후의 정보다. 공유 임베딩은 두 신호가 일치하는 지형 표현을 배우고, 관성 attention은 PWM 조건을 포함해 동일 가속도라도 명령이 달랐던 경우를 구분한다.

  • 영상 입력은 128×128 RGB patch다.
  • 관성 입력은 30 Hz 6축 IMU와 PWM 시퀀스다.
  • 사전학습 EfficientNet-B0와 256차원 공유 표현 조합이 최고 성능 설정에 포함된다.

attention 기반 관성 특징 정제

야외 주행의 IMU에는 지형 충격뿐 아니라 가감속, 회전, 센서 잡음이 섞인다. VINet은 attention map의 자기 관련 성분을 이용해 특징 중요도를 정렬하고 낮은 기여 성분을 제거한다. ablation에서는 사전학습, denoising, 공유 임베딩을 모두 사용한 구성이 미지 지형에서 가장 높은 0.7648 정확도를 보였다.

  • 시퀀스 길이 D는 60이다.
  • 특징 제거 비율 f_s는 5/6으로 설정됐다.
  • PWM을 IMU와 연결해 지형 반응과 입력 명령을 함께 모델링한다.

분류에서 NMPC까지 이어지는 적응 제어

각 기지 지형에서 학습한 GP는 목표 선속도·각속도를 실제 PWM으로 바꾸는 역 구동 모델 역할을 한다. NMPC는 동일한 궤도차량 운동학을 사용하지만, VINet이 선택한 지형에 따라 GP가 전환되므로 슬립과 구동 효율 차이를 PWM 수준에서 보상한다.

  • 기지 지형마다 약 1,500개의 속도-PWM 쌍을 수집했다.
  • RBF kernel이 비선형 입력-구동 관계를 근사한다.
  • Jetson AGX Orin에서 분류와 적응 제어를 실행했다.
원문 Figure 5, PDF 7쪽
원문 Figure 5 · PDF p.7 — Fig. 5: Visualization of trajectories on rocky surface: For each controller, we show one sample of the trajectories. We can see that the concrete controller can follow the target trajectory the best.

4.실험 결과

실험 환경·장비·데이터

실험 프로토콜

비교 기준

평가 지표

원문 Figure 4, PDF 6쪽
원문 Figure 4 · PDF p.6 — Fig. 4: Trajectory tracking control result of the VINet-based adaptive controller: Note that our classifier will classify artificial grass as carpet instead of grass, which is based on navigation properties and inertial sensing, instead of purely visual features. We tested the grass controller on artificial grass and could not record a meaningful trajectory because the tracking error is too large to reach the goal location.

핵심 결과 해석

11개 지형을 모두 기지 클래스로 학습한 조건에서 최고 분류 정확도는 98.37%였다. ImageNet 사전학습과 256차원 공유 임베딩을 사용한 설정이 높은 성능을 보였으며, 영상과 관성의 결합이 알려진 표면의 외관과 동역학 차이를 안정적으로 구분했다. 미지 지형 조건에서는 전체 구성의 정확도가 0.7648, 즉 76.48%로 가장 높았고 저자들이 비교한 선행법보다 8.51% 향상됐다.

미지 rocky surface의 navigation label을 만들기 위한 후보 제어기 RMSE는 concrete 0.032945, carpet 0.045516, soil 0.045092, mulch 0.066245, grass 0.175690이었다. 따라서 시각적 재질명이 아니라 실제 궤적 오차가 가장 낮은 concrete 제어기가 정답이 된다. 이 사례는 미지 지형을 기존 정책에 대응시키는 논문의 목적을 구체적으로 보여준다.

혼합 지형 추종에서 VINet 적응 제어의 lateral RMSE는 0.026 m였다. carpet 모델 고정은 0.050 m, mulch 모델 고정은 0.029 m였으며, 논문은 비적응 기준 대비 10.3% 개선을 보고한다. artificial grass에서 grass 제어기를 사용한 경우에는 오차가 너무 커 의미 있는 궤적을 기록하지 못해, 외관상 유사한 이름이 제어 적합성을 보장하지 않음을 드러냈다.

정량 결과

평가 항목정량 결과조건·맥락원문 근거
11개 기지 지형 분류 정확도98.37%사전학습과 256차원 공유 임베딩을 사용한 최고 설정PDF p.6
6개 미지 지형 분류 정확도76.48%pretraining, 8차원 출력 설정, 256차원 공유 표현과 전체 모듈 사용PDF p.5
미지 지형 성능 향상8.51%저자들이 비교한 선행 분류법 대비 정확도 향상PDF p.1
VINet 적응 제어 lateral RMSE0.026 mmulch, soil, artificial grass가 포함된 실차 경로 추종PDF p.6
carpet 고정 제어 lateral RMSE0.050 m동일 혼합 지형 경로의 비적응 기준PDF p.6
rocky surface 최적 후보 제어기 RMSE0.032945concrete 제어기가 5개 후보 중 최소 trajectory MSE 기록PDF p.7
실패 사례와 경계조건

5.한계 및 향후 연구

현재 한계

  • 미지 지형도 5개 기지 제어기 중 하나로 분류하는 폐집합 구조여서 안전한 제어기가 없는 상황을 탐지하는 open-set rejection이 없다.
  • IMU는 접촉 이후의 증거이므로 영상이 잘못 분류한 지형 전환의 첫 구간을 선제적으로 완전히 보상할 수 없다.
  • 4,923장과 11개 지형은 다양한 날씨, 조도, 습도, 경사 조건을 대표하기에 제한적이다.
  • 평가는 소형 궤도 플랫폼과 제한된 시험 장소에 집중되어 더 무거운 로봇과 고속 주행에서의 검증이 없다.
  • 내비게이션 레이블 생성에는 미지 지형에서 모든 후보 제어기를 실제 실행해야 하므로 데이터 수집 비용과 위험이 따른다.

향후 연구

  • 어느 기지 제어기도 신뢰할 수 없는 지형을 검출하고 정지·저속 탐색으로 전환하는 불확실성 기반 거부 기능이 필요하다.
  • 단일 주행에서 여러 미지 지형이 연속되는 조건과 젖음·경사·적재 변화가 겹치는 조건을 평가해야 한다.
  • 더 정교한 제어기와 온라인 구동 모델 갱신으로 기지 정책 라이브러리 밖의 표면에도 적응해야 한다.
  • traversability mapping과 장애물 회피를 결합해 지형 적응과 충돌 안전을 하나의 계획 문제로 다뤄야 한다.
  • 대형 궤도차량과 다른 구동 구조에서 시각·관성 표현 및 GP 모델의 전이 가능성을 검증해야 한다.

6.한마디로 정리

핵심 방법은?

전방 RGB와 IMU·PWM 시퀀스를 공유 표현으로 정렬하고, 미지 지형을 trajectory MSE가 가장 낮은 기지 제어기에 대응시켜 지형별 GP-NMPC를 선택한다.

핵심 결과는?

기지 지형 98.37%, 미지 지형 76.48% 분류 정확도와 적응 제어 lateral RMSE 0.026 m를 달성해 분류를 실제 추종 개선으로 연결했다.

한계는?

강제 폐집합 선택, 접촉 후에 얻는 관성 증거, 작은 플랫폼·데이터셋, 후보 제어기 전수 실행이 필요한 레이블 생성은 안전한 현장 확장의 제약이다.

#환경인식#제어·MPC#시각 특징#IMU 시계열#교차모달 임베딩#적응형 제어기 선택

나의 의견 / 우리 연구와의 연관성

자율굴착기와 같은 궤도형 필드로봇도 마른 흙, 젖은 흙, 쇄석, 진흙을 오갈 때 동일한 유압·구동 명령이 다른 차체 반응을 만든다. VINet의 navigation-based label은 지형을 이름으로 분류하는 데서 멈추지 않고, 현재 표면에서 어떤 구동 모델과 제어기를 호출할지를 직접 결정하는 방식이다.

대형 굴착기에 적용하려면 IMU·구동압·궤도 속도 같은 신호로 표현을 다시 학습하고, 불확실성이 높을 때 정지하는 안전 계층을 추가해야 한다. TTM 같은 주행성 지도와 결합하면 경로 수준에서는 위험 지형을 피하고, 피할 수 없는 표면에서는 VINet 방식으로 구동 모델을 적응시키는 이중 구조가 가능하다.

7.전체 그림·표

섹션별 원문 근거 페이지

원문·기존 요약·관련 자료

추출·교차검증 근거