한국건설기술연구원 지반연구본부 세미나
2026. 11.
KICT Seminar
필드로봇에서의
AI활용
이한민 산업기계DX연구실장
한국기계연구원
1
1. AI, 로봇, 그리고 산업기계
산업마다 무인화와 자율화 요구가 먼저 있었고, ChatGPT 모멘트가 그것을 가속
2
2. 프로그래밍에서 학습으로의 전환
데이터와 경험으로 학습해, 더 다양한 작업과 환경에 대응
→
학습 중심
시연·경험→학습→실행
Figure Helix 2.5 (2026.09)
3
3. 행동 생성의 두 접근: VLA와 WAM
이해를 행동으로 연결하는 VLA · 미래를 예측해 행동하는 WAM
VLAVision-Language-Action
장면·언어 지시
로봇 상태
→
시각·언어
이해
→
행동 생성
Chef Robotics · Physical Intelligence Pi API
햄버거 조립
WAMWorld Action Model
장면·언어 지시
로봇 상태
→
미래 예측
활용
→
행동 생성
1X World Model · NEO
티슈 뽑기
4
4. 로봇 두뇌의 구성 방식
하나의 모델이 행동을 직접 출력하거나, 이해와 제어를 나누어 처리
행동 직접 출력Google DeepMind RT-2 (2023)

↑지시와 영상 입력
↑행동 토큰을 로봇 동작으로
영상과 지시를 받아 하나의 VLA 모델이 행동 토큰을 직접 출력
이해와 제어 역할 분담Figure Helix (2025.02)

이해·계획→
연속 제어→
System 2가 장면과 지시를 이해, System 1이 연속 동작으로 변환
5
5. 로봇 학습의 데이터 격차
인터넷에 축적된 지식에 비해, 로봇의 행동 경험은 부족
인터넷의 글과 그림
웹 데이터 예시vs
로봇의 원격조작 경험
로봇 시연 데이터 예시
Goldberg (2025)의 당시 비교
약 10만 년
학습용 글과 그림을 사람이 읽고 보는 시간
약 1년
당시 최대 원격조작 데이터셋의 누적 기록 시간
로봇에는 관찰, 행동, 결과가 연결된 경험이 필요
6
6. 학습 데이터의 확보와 확장
로봇으로 수집하고, 사람에게서 배우고, 합성 데이터로 확장
1텔레오퍼레이션
Stanford, Mobile ALOHA (2024)
사람 조작으로 관찰과 행동 기록
+
2사람 영상 기반 학습
Figure, Project Go-Big (2025.09)
1인칭 영상으로 로봇 이동 학습
+
3합성 데이터 생성
NVIDIA, DexMimicGen (2024)
소수 시연을 시뮬레이션에서 증강
시뮬레이션 증강월드 모델 생성
다양한 경험으로 확장하고, 실제 작업으로 보정하고 검증
7
7. 현장 적용의 조건
현장의 기준은 안정적인 작업 완수, 지속적인 가동, 비용 대비 생산성
1작업 신뢰도
Telexistence, 일본 편의점 음료 진열
운영자 1명이 약 50대 감시
물건을 떨어뜨리는 등 예외 상황은
원격 운영자가 복구
→
2운영 지속성
Figure 02, BMW 스파턴버그 공장
누적 1,250시간+, 부품 9만 개+
가동률이 아닌 11개월 누적 실적
주요 고장 지점인 전완부 재설계
→
3경제성
Rosendin, 미국 태양광 현장시험
2인 작업조, 8시간 350–400장
3–4인 수작업조 대비 3배 속도
생산성 개선 사례, 투자회수는 별도
작업 성공뿐 아니라, 실패해도 복구하고 계속 운영할 수 있어야 현장 적용
8
14. 기계연 로봇 연구의 발전
휴머노이드, 필드로봇, 의료로봇으로 확장되는 기계 지능
9
15. 휴머노이드 카이로스
이동과 조작을 위한 로봇 플랫폼과 핵심부품 개발
2026 글로벌 기계기술 포럼 2026. 9. 7.
카이로스 V0.7 탈춤 시연
로드맵2027.4V1▶2030.4V2 초감각, 전신감각▶2035실용화
구동기
2.1kg으로
최대 192 N·m
전용 구동기 5종 자체 설계, 성능 20% 향상
로봇 핸드
핀셋을 쥐고
작은 부품까지
오랜 핸드 연구의 축적
촉각 피부 차별점
쓰다듬는 손길까지
감지
3축 촉각, 자가회복 피부
10
16. 로봇 작업지능과 학습 데이터
사람의 시연을 학습해 다양한 작업으로 확장
1시연 수집
2이해와 계획
3작업 수행 RoGeTA
데이터 팩토리
휴머노이드 여러 대의 동시 시연 수집 환경
▶
명령 이해언어·시각 모델
작업 계획순서 수립과 검증
동작 조합집기, 놓기, 복구
▶
11
19. 의료로봇
정밀조작과 원격제어로 의료 역량 확장
정밀조작최소침습 카테터 수술로봇
심장 모형 속 카테터
가는 관 끝을 떨림 없이 원하는 방향으로 조향
원격제어울릉도–대구 원격 초음파
의사 · 조작
⇄295 km왕복 지연
약 40 ms
로봇 · 초음파
의사의 손 조작을 먼 곳의 로봇이 따라 초음파 영상 획득
12
20. 디지털트윈
실제 장비와 가상 트윈을 실시간 연동해 학습·최적화
실제 장비디지털트윈
자율주행 트랙터 — 실차 작업을 트윈에서 실시간 관제
디지털트윈실제 설비
공작기계 자율제조 셀 — 설비·로봇 동작을 트윈과 연동
美 Digital Twin Consortium공식 테스트베드
MANDATE-R2R 이차전지 롤투롤 자율제조
실제 설비와 트윈을 실시간 연동, 다중 AI 에이전트가 공정을 스스로 최적화 · 2025.12 등록
13
Field Robotics
비정형·옥외 환경에서 일하는 모든 로봇
건설굴착기 · 휠로더 · 도저
농업트랙터 · 과수 모니터링
광업채굴 · 운반 · 정리
임업벌채 · 식재 · 운반
재난·국방탐색구조 · 정찰
해양해저 작업 · 양식
우주행성 탐사
도시 인프라하수도 · 터널 점검
14
현장의 4대 도전과제
불확실성 · 부분관측 · 동적 환경, 그리고 안전과 신뢰
01불확실성
토질 · 흙의 밀도 · 식생 · 기상이
매 작업마다 다름
02부분관측
지하 매설물 · 가려진 장애물
먼지로 인한 센서 저하
03동적 환경
작업이 진행될수록
지형 자체가 바뀜 (굴착·운반)
04안전과 신뢰
30톤 굴착기가
작업자 옆에서 움직임
15
4계층으로 보는 Field Robot AI
환경을 이해 → 무엇을 할지 결정 → 어디서 · 어떻게 할지 → 물리 제약 안에서 실행
L1Perception & World Model환경을 이해
Multi-Modal Fusion · NeRF · SAM
L2Task Reasoning무엇을 할지 결정
LLM · VLM · Foundation Models
L3Planning & Decision어디서 · 어떻게 할지
RL · Imitation Learning · Diffusion Policy
L4Control물리 제약 안에서 실행
MPC · Learned Residuals · Safety Layer
16
3D 지형을 어떻게 표현할 것인가
단일 센서가 아닌 LiDAR + Stereo + IMU 다중 융합이 디폴트가 됨.
2.5D Height Map
격자 셀당 높이의 평균·분산
실시간 5 Hz 업데이트 · 굴착·평탄화 표준
Point Cloud
LiDAR 원본 데이터
정밀하지만 계산 비용 ↑
NeRF / 3D Gaussian Splatting
미분 가능한 3D 재구성
시뮬레이션 합성 데이터 생성
Occupancy Networks
자율주행에서 검증된 표현
건설·농업으로 확산 중
점군 정합 → 표면 재구성
17
현장은 깨끗하지 않다
눈 · 비 · 분진 · 진흙
확률 기반 노이즈 제거
섹션별 노이즈 점군 밀도를 추정하여 제거
다중 모달 융합
단일 센서 실패를 다른 센서가 보완
센서 클리닝
진흙 · 흙탕물 대응 물리적 클리닝
18
옥외 인지에 들어온 Vision FMs
→ 라벨 비용이 극단적으로 ↓ · 현장 데이터 수집 병목 해소
SAM / SAM 2
ZERO-SHOT 분할라벨 없이 객체 마스킹
DINOv2 / CLIP
사전학습 특징적은 데이터로 일반화
Depth Anything
단안 깊이 추정일반화 성능 급상승
Open-Vocabulary Det.
자연어 쿼리“흙더미 옆 사람”, “노란 안전모”
19
GPS가 안 되는 곳에서 어떻게 위치를 알까
옥외 SLAM은 풀린 문제는 아니지만, 5년 전 대비 양상이 완전히 바뀌었다.
LIO-SAM / FAST-LIO
LiDAR + IMU 융합
과수원 · 터널 · 실내 표준
Visual-Inertial Odom.
카메라 + IMU
경량 플랫폼용
Learning-based loop closure
변화하는 지형에서도 재인식
계절 변화 대응
RTK + IMU Fusion
cm급 정밀도
GPS 단절 시 IMU 보완
20
휴리스틱에서 학습 기반 결정으로
→ 학습 기반은 데이터 의존적이지만, 같은 양의 데이터로 점점 더 많은 작업을 푼다.
| GEN. | APPROACH | EXAMPLES | LIMITATION |
| 1세대 | 기하학적 경로계획 | Dubins · A* · RRT | 정적 가정 · 비용함수 수동 |
| 2세대 | 최적화 기반 제어 | MPC · Trajectory Opt. | 모델 의존 · 비선형 한계 |
| 3세대 | 학습 기반 | Imitation · RL · Diffusion | 데이터 의존 · 효율 폭발 |
| 4세대 | LLM-as-planner | VLA · SayCan · PaLM-E | 자연어 미션 → 행동 시퀀스 |
21
숙련자에게 배우기
굴착기 운전 숙련까지 4–5년 — 암묵 지식이 절대다수
왜 시연인가
- 굴착기 운전 숙련까지 4–5년 — 암묵 지식이 절대다수
- 보상함수 설계가 어려운 작업 (정밀 그레이딩)
- 대량 시연 수집은 retrofit + 일반 작업 중에도 가능
대표 기법
| Behavior Cloning · DAgger | 기본 시연 모방 |
| Diffusion Policy | 다봉 행동 분포 생성 |
| ACT · VQ-BeT | Action Chunking, 토큰화 |
| Offline RL + Demos | 시연 + RL 결합 |
22
옥외에서 강화학습이 통하려면
Massively Parallel Sim · Domain Randomization · Real-to-Sim-to-Real
Massively Parallel Sim
Isaac Sim · MuJoCo MJX · Vortex Studio
수천 개 로봇을 GPU 한 대에서 동시에 학습
Domain Randomization
Texture · Friction · Lighting
토질 · 마찰 · 조명을 무작위화하여 일반화
Real-to-Sim-to-Real
NeRF / GS reconstruction
실측으로 시뮬레이터를 보정
23
학습이 모델 기반을 대체하지 않는다
MPC가 여전히 핵심인 이유
- 유압 펌프 파워 한계, 실린더 변위, 안전 제약은 사전 보장 필수
- ML 정책 제안 → MPC가 안전 영역으로 사영 (projection)
- Augmented Lagrangian iLQR — 실시간 (<80ms) 제약 최적화
- Learned residuals — 모델 오차를 신경망이 보정
[SNU21]
24
한 모델로 모두 풀지 않는다
계층 분리가 실용 정답
UPPER · LLM REASONING
자연어 명령 → 작업 분해
의존관계 · 선행조건 검증원자적 자율 작업 블록 (atomic blocks) 정의기계 간 협업 조율 (팀 운용)
↓ ↑
LOWER · E2E POLICY
Visuomotor 행동 생성
환경 인식 (점군 · 카메라)기계 제어 (굴삭 · 적재 · 이동)물리 상호작용 (토질 · 경사 적응)
25
Sim-to-Real Gap
여전히 가장 큰 적
PROBLEM
- 토양 · 유압의 비선형성은 시뮬레이션이 약함
- 시뮬 → 현장 전이 시 정책이 자주 깨짐
- 드물고 위험한 상황을 시뮬에서만 학습할 수 없음
→
EMERGING SOLUTIONS
Differentiable SimulationBrax · Genesis · MuJoCo MJX
Real-to-SimNeRF · 3D Gaussian Splatting로 재구성 후 학습
Foundation Pretraining시뮬 의존도 ↓, 적은 현장 데이터로 적응
26
협업 크레인 거더 자동운반
다중 크레인을 통합 제어해 교량 거더를 자동 운반
기술적 성과
다중 크레인 통합제어위치 오차 수평/수직 ±5 cm
라이다 기반 충돌방지환경탐지
Multi-RRT거더 이송 경로계획
축소 크레인자동운반 실증
27
굴착기·휠로더 원격제어
기계식 장비에 전자제어 retrofit kit를 달아 원격으로 제어
전자제어 인터페이스비례제어밸브 모듈 · 임베디드 컨트롤러 · GNSS · IMU · 압력계
작업장치 위치 제어굴착기 · 휠로더
정밀 압력 제어 · AI 고장진단Pilot 압력 hysteresis 제거
고장검출 정확도 90% 이상
28
원격제어 굴착기 시연
retrofit kit을 단 굴착기를 원격으로 조작
29
과수 예찰 자율 농업기계
자율주행 플랫폼에 매니퓰레이터와 병해충 탐지기를 탑재
30
과수 예찰 주행·자세 시험
주행 위치와 매니퓰레이터 자세를 목표값과 실제값으로 비교
31
UAV·UGV 연동 시험
무인이동체 육해공 자율협력 — UAV와 UGV 연동 시험
32
휠-레그 로봇 정책 전이 화재현장 실내수색 무인이동체
상용 휠-레그 로봇에서 학습한 제어를 통합 UGV 플랫폼으로 전이
제어기 학습을 위한 병렬 연산 시뮬레이션 환경
상용 휠-레그 로봇제어 학습
시뮬레이션 간정책 전환
시뮬레이션 → 실제환경 전환 (추진)
통합 UGV 플랫폼
33
숙련자 데이터 학습 파이프라인
숙련자 작업을 데이터로 수집·학습해 무인 굴착기 자율작업으로
인공지능 학습


dig(depth, drag)
라이다 2D 그리드 → 인공지능 모델 학습
자율작업 실증

AI 기반 무인 굴착기 자율작업 계획 및 제어
34
MC 굴착기 센서 구성
기존 굴착기에 인지·자세·유압 센서를 더한 데이터 수집 플랫폼
35
2D 그리드 작업계획 강화학습
2D 그리드 맵에서 Dig·Dump·Leveling 작업계획을 강화학습(PPO)으로
문제 정의
작업 환경20×40 그리드 맵 (실제 10 m×20 m)
한 그리드 0.5 m · 높이 −3 ~ 3 m
행동작업 시작 지점 (x 0~40, y 0~20)
Dig · Dump별 action space
보상 함수1회 굴착량 최대화
평균 높이 목표 도달 여부
이동거리 최소화
PPO
36
가상환경 자율작업 시스템 구조
Vortex Studio·ROS2 가상환경에서 인식 → 상위 계획 → 하위 제어
환경 인식
Environment PerceptionLiDAR · Camera
State Estimation경사계 · IMU · RTK-GPS · Encoder · 압력계 · TF
상위 계획High-level Planner
Grid MapperGrid Map GeneratorGrid Map InterpolationROI Extraction
RL ModuleDig ModelDump ModelLeveling Model
Task ManagerTask Combination PlannerTask Scheduler
Trajectory GeneratorDig · Dump ModuleSwing ModuleSwing-less Module
하위 제어Low-level Controller
Motion ControlAI-to-WorldCoordinate Transformation
Inverse KinematicsSolver
Actuator ControlBucketPID
BoomPID
ArmPID
SwingPID
37
가상환경 자율작업 1사이클
점군 인식부터 제어까지 가상환경에서 한 사이클 자율 수행
Point Cloud환경 인식
GridMap생성 및 추출
목표작업 영역인공지능 기반 설정
궤적 생성
자율 작업 제어
가상환경 · 1-cycle
38
관로파기 현장 실증과 관제 UI
실제 굴착기의 관로파기 자율작업과 관제 화면
123
굴착기 자율작업 관제 UI
12D 그리드맵
2현재 / 목표 / 차이 지형 맵
3버킷 궤적 (목표 / 실제)
39
18. 필드로봇 피지컬 AI
공통 인지 모델 하나로 건설·농업·재난 장비를 자율화
인구절벽·위험환경 대응
AI 필드로봇 기술 개발
40