NK264F 최종발표 11/18 완성용 작업본 (2026-10-26 기준, 내부용) — 실측 결과를 수록할 작업본이며 1차 제출본은 발표자료.html. 일정은 모두 팀장 권고 (안). F 발표 모드, ← → 이동, Esc 종료. 작성 근거: 발표자료_v2_작성기록.md §6
KIMM 3.5톤 전기굴착기
2026년도 기본사업 최종발표
2026. 11. 18, R1동 대회의실
11/18 완성용 작업본 (10/26 기준)
2026 기본사업 창의도전형 NK264F

필드로봇 피지컬 AI
파운데이션 모델 탐색 연구모델 비교, 데이터 규격, 실측 검증 결과

이한민 책임연구원(실장), 한국기계연구원
가상공학플랫폼연구본부 산업기계DX연구실
1

1. 연구 필요성

실내 조작에서 검증된 VLA, 야외 굴착 조건은 별도 분석 필요
KIMM 굴착 테스트베드기존 사진
KIMM 굴착 테스트베드
표 1. 실내 조작과 야외 굴착의 작업 조건 비교
구분실내 조작(공개 VLA 대표 시연)야외 굴착(본 연구 대상)
환경정형 실내, 테이블 위 물체비정형 지형, 토양 접촉과 굴착 부하
구동전동 팔과 그리퍼유압 실린더, 명령 지연 0.11~0.16 s(HR35 현장 로그)
관측일정 조명, 근접 카메라조명 변화, 분진과 역광, 캐빈 시점
핵심 상태관절각, 그리퍼 개폐실린더 압력, 버킷 자세, 전방 지형 높이
공개 데이터Open X-Embodiment 22종 로봇, 100만+ 궤적굴착 특화 ExT — 범용 VLA와 별도 계열
본 연구
굴착 1종, Level 1 통제 필드 범위에서 범용 VLA 2종의 적용성 분석
※ Open X-Embodiment(arXiv 2310.08864), ExT(arXiv 2509.14992) 원문 확인 2026-10-22. 유압 지연은 연구실 내부 개발기록(260911 HR35 현장 식별). 사진: FES2026 발표 원본 자료
11/18 완성용 작업본 — 실측 결과 미수록
2

2. 연구 목표와 완성 조건

설계와 도구 기반 확보 — 필드 적합성 판정은 실측 결과 확보 후
계획서 목표10/26 확보11/18 완성 조건상태
① 모델 서베이공식 문서 비교표, 개방성 7항목, 7축 평가체계S1 공식 예제 지연, VRAM 실측 연결설계 미측정
② 데이터셋 설계AO-v0.1 규격, 분할 설계, 변환·검사 도구(합성 시험 70건)실제 표본 5~20건 변환→검사→로더 연결합성 시험
데이터 0건
③ 모델 적용 실험S1~S7, R1~R4 설계, 지표와 기준선 정의짧은 학습 + 기준선 비교, 결과 마감 11/11(안)계획
④ 로드맵 기획전략사업 제안서, 국과심 발표, 계획서 초안 v0.4기획 문서 작성 완료, 실험 결과 반영 예정기획 문서
정량 성과논문, 기술보고서 초안 작성 중 — 투고, 완성, 신청 0건투고 접수, 기술보고서 완성 11/17(안), SW 대상 결정0 / 3건
기획 문서 근거 문서 있음설계 정의, 분석합성 시험 합성 데이터 도구 시험미측정 실측 없음계획 11월 수행(안)
※ 날짜는 팀장 공통 일정안(검수/팀장_수정권고안.md §3)이며 사용자 승인 전 확정 아님. 결과가 기대와 달라도 그대로 기재. 출처: 본문/1_개요.md 목표표, 연구현황_근거표.md §1, §3
11/18 완성용 작업본 — 실측 결과 미수록
3

3. VLA 모델 2종 구조 비교

두 모델 모두 신규 로봇 파인튜닝 공식 절차 확인 — 굴착 규격 적용과 성능은 미검증
표 2. π0.5와 GR00T N1.7 비교(개발사 공식 문서 기준, 확인일 2026-10-22)
구분π0.5 (Physical Intelligence, openpi)GR00T N1.7 (NVIDIA)
모델 구조PaliGemma VLM + 행동 전문가, flow matchingCosmos-Reason2-2B VLM + DiT 행동 헤드, 약 3B
로봇 상태 입력기본 설정은 이산 언어 토큰(연속 입력 설정 가능)embodiment별 MLP 연속 인코딩
행동 출력연속 행동 chunk, 32차원 패딩연속 행동 chunk, 최대 132차원, 40 step
새 로봇 적용입출력 변환 + 학습 설정 작성NEW_EMBODIMENT + modality.json
학습 자원 [공식]LoRA 22.5 GB 이상(JAX 경로만)GPU당 최대 약 35 GB, 40 GB 이상 권장
추론 지연 [공식]공식 수치 미확인(추론 8 GB 이상)H100 85.8 ms(eager), 27.9 ms(TensorRT)
본 과제 S1 실측결과 슬롯 — 예열 10회 후 유효 100회 p50/p95결과 슬롯 — 예열 10회 후 유효 100회 p50/p95
※ openpi 커밋 215abfb, Isaac-GR00T 커밋 dac54b3, HF GR00T-N1.7-3B 리비전 2fc962b9. [공식] 값은 개발사 조건(GPU, 백엔드)의 공개 수치이며 본 연구 측정값이 아님. 접근 조건과 라이선스는 7축 평가체계의 개방성, 굴착 적용 사례는 부록 A5. 계획서의 GR00T N1.6은 정식 출시 N1.7로 변경(부록 A1)
11/18 완성용 작업본 — 실측 결과 미수록
4

4. 필드 적합성 7축 평가체계

7개 축의 지표와 분모 정의 — 공식 문서로 분석 가능한 축부터 1차 분석
1실시간성
E2E 추론 지연 p50/p95 (ms), 재계획 Hz
GR00T [공식] H100 27.9~85.8 ms — 10 Hz 주기(100 ms) 안. π0.5 공식 수치 없음
공식 문서 분석
2자원
추론, 학습 최대 VRAM (GB)
학습 [공식] π0.5 LoRA 22.5 GB 이상, GR00T 40 GB급 GPU 권장
공식 문서 분석
3행동공간
M1 첫 예측 행동 MAE, 버킷 끝 오차 (cm)
굴착 4D를 두 모델 모두 패딩으로 수용(32D, 132D)
공식 문서 분석
4관측
상태, 영상 가림 시 오차 증가율 (%)
55D 연속 상태 — GR00T는 연속 MLP, π0.5 기본은 이산 토큰(분해능 검토 대상)
공식 문서 분석
5데이터 효율
에피소드 수–오차 곡선, N90
학습점 0~720 에피소드, 고정 시드 표본으로 분모 정의
지표 정의
6강건성
도메인 갭 (%), 충실도 간 전이 갭
미관측 도메인 시험 100 = 요인 5 × 20으로 분모 정의
지표 정의
7개방성
코드, 가중치, 이용 조건 등 7항목
코드와 가중치 모두 공개. GR00T 백본 승인제, 라이선스 표기 불일치. π0.5 Gemma 약관 병기
공식 문서 분석
실측 반영 위치
축 1, 2 → S1 결과(8번)
축 3~5 → 짧은 학습 M1(8번)
축 6 → S4, S6 확보 시만
판정 합격선은 전문가 리뷰로 확정
※ 계획서 분석 항목(입출력, 데이터 요구량, 제로샷/퓨샷, 지형, 조명, 통신 지연)을 7축에 대응. 출처: 설계/평가프레임워크.md v1 §2~§4, 본문/2-가_모델서베이.md 표 2-가-1, 2-가-2(확인일 2026-10-22)
11/18 완성용 작업본 — 실측 결과 미수록
5

5. 굴착 관측–행동 공통 규격

두 시뮬레이터와 실차를 하나의 규격으로 — 관측 55D, 행동 4D, 10 Hz
굴착기 관절 명칭 표시 기존 사진 + 개념 표시 버킷 암 붐 선회
행동 4D — 선회, 붐, 암, 버킷 관절 속도 명령(rad/s)
사진: KIMM 3.5톤 전기굴착기(FES2026 발표 원본). 관절 위치 표시는 개념
관측 ot 설계 AO-v0.1
캐빈 RGB 1대(640×480) + 상태 벡터 55D
관절 8부하 9직전 행동 4버킷 자세 7차체 기울기 2지형 7태스크 12유효 마스크 6
동기화와 저장
10 Hz 격자, 모델 입력은 과거 샘플만(인과), 행동은 영차 유지
LeRobot v2.1 + modality.json(GR00T 형식)
부하 채널 구분
Isaac은 관절 토크, APEX와 실차는 실린더 압력 — 환산 없이 별도 필드 + 마스크
※ 출처: 설계/데이터셋_정의서.md AO-v0.1-r2-draft §0, §3, §4, 설계/modality.json(2026-10-22). 구성은 확정, 차원 배치는 잠정 설계값. 상태 55D는 ExT 논문의 관측 55D와 내역이 다름
11/18 완성용 작업본 — 실측 결과 미수록
6

6. 데이터 변환과 품질검사 파이프라인

변환부터 공식 로더 적재까지 구현 — 합성 데이터 CPU 시험 70건 통과
그림 1. 데이터 파이프라인 구현 범위(개념도) — 파랑 설계, 초록 구현과 합성 데이터 시험
시뮬레이터
실차 로그
Isaac+FEE, APEX, 실차 필드 매핑표설계
▶
플랫폼
어댑터
원명령 → rad/s 매핑 규칙설계
▶
LeRobot v2.1
작성기
parquet, mp4, 분할 파일구현
▶
품질검사
Q1~Q13
13항목 중 11항목(부분 5)구현
▶
공식 로더
적재
LeRobot, GR00T 로더합성 시험
▶
학습 실행
스크립트
RunPod 8종, DRY-RUN구문 시험
시험 결과 [시험] 2026-10-22 기록
  • 전체 회귀 70건 통과, skip 0(8.35 s, 팀장 재실행 8.43 s)
  • 공식 LeRobot v2.1 로더 — 상태 55D, 행동 (16, 4), 영상 (3, 480, 640) 적재
  • GR00T 정규화 — 속도 명령 정규화 후 원값 복원(허용오차 1e-4)
  • 시간 규약 — 2,559프레임(255.8 s) 간격 검사
결함 검출 시험 — 주입한 결함 모두 검출
NaN타임스탬프 지터영상 프레임 누락길이 불일치라벨 누락modality 구간 중복그룹, 도메인 누수(Q11)미래 샘플 사용(Q6)진단열 입력(Q13)
※ 70건은 합성 데이터로 한 도구 동작 시험이며 VLA 학습 성능이나 데이터셋 구축 실적이 아님. 모델 가중치 로딩, GPU 실행 없음. 출처: 설계/T5_구현보고.md §2 V2~V9, §6.4, 작업인덱스 2026-10-22 23:11
11/18 완성용 작업본 — 실측 결과 미수록
7

7. 2단계 검증 실험 설계

시뮬레이션 사전 검증 S1~S7 → 실환경 검증 R1~R4
그림 1. 실험 구성(개념도) — 필수 경로 S1, 표본 연결, 짧은 학습. 나머지는 전제 확보 시
1단계 시뮬레이션 사전 검증
S1
공식 예제
추론 재현
S2
시뮬레이션
파인튜닝
S3
제로샷
vs 퓨샷
S4
보류 도메인
강건성
S5
폐루프
(도전)
S6
저→고충실도
시뮬 간 전이
S7
시뮬 혼합
비율
▼
2단계 실환경 검증
R1
실차 로그 제로샷
R2
실차 퓨샷
R3
sim:real 혼합
R4
섀도 모드(명령 미전송)
지표
M1 첫 예측 행동 MAE, M1-H 구간 오차(별도), 지연 p50/p95, VRAM
기준선
원본 제어기, MLP 행동복제
sim-to-sim 대리 실험(S6, S7)의 해석 한계
유압 실물 부재센서 분진, 역광 미반영토양 실물 부재시연자가 사람 아닌 제어기부하 채널 구성 차이APEX 평가 80건 규모
※ 보라 점선 S6, S7은 Isaac+FEE → AGX(APEX) sim-to-sim 대리 실험 — 실차 전이 갭의 예측값이 아니라 절차와 경향 확인용. 출처: 설계/실험설계서.md EXP-v0.1-r2 §0~§3
11/18 완성용 작업본 — 실측 결과 미수록
8

8. 측정 결과

결과 수록 자리 — 11/11(안) 결과 마감 후 실측값으로 교체, 미확보 항목은 미수행 기재
S09-RES-1표 — S1 공식 예제 추론 지연 p50/p95(ms), 최대 VRAM(GB)
GR00T N1.7, π0.5
표 · 250×118
결과 1. 공식 예제 추론 재현(S1)
데이터 개발사 공식 예제 입력
측정 예열 10회 후 유효 100회, 배치 1
로그 GPU, 드라이버, 정밀도, 백엔드, 커밋
대조 부록 A5 지연 예산(100 ms)
별도 굴착 체크포인트 지연은 다른 표
S09-RES-2표 — 실제 표본 품질검사 합격, 로더 적재
짧은 학습 M1 대 기준선(MLP 행동복제)
표 · 250×118
결과 2. 표본 연결과 짧은 학습(S2 축소)
데이터 실제 표본 5~20건, splits.json 해시
지표 M1 = 첫 예측 행동 관절별 MAE, 분모 유효 평가 프레임 수
로그 학습 설정, step, 체크포인트 해시
주의 짧은 시험 1회를 S2 완료로 계산 금지
S09-RES-3표 — 도메인 갭(S4), sim-to-sim 전이 갭(S6)
전제 미확보 시 이 칸은 "미수행"
표 · 250×118
결과 3. 강건성과 전이(조건부)
데이터 같은 도메인 시험 100, 미관측 100
지표 도메인 갭(%), 충실도 간 전이 갭
표기 제목에 sim-to-sim 명시
한계 요인별 n = 20, 단일 시드
※ M1-H(chunk 구간 오차)는 M1과 섞지 않고 별도 보고. 정책 간 차이는 같은 평가 에피소드에서 차이의 불확실성으로 판단(고정 5~6 % 판정선 미사용). 지표 정의 확정 전 결과표 입력 금지. 출처: 검수/팀장_수정권고안.md C01, C07, C08, 설계/실험설계서.md
11/18 완성용 작업본 — 실측 결과 미수록
9

9. 결과별 결론 분기

11/11(안) 확보 수준에 따라 주장 범위를 미리 정한 세 가지 결론
A. S1 + 짧은 학습 + 기준선
결론 문장
시뮬레이션 굴착 데이터에서 VLA 적용 가능성과 데이터 요구량 1차 비교
주장 범위
Isaac 시뮬레이션 안, 단일 시드, 기준선 대비 M1
교체 장
목표 표, 모델 비교 실측 행, 7축 값, 측정 결과 1~3, 결론 바
B. S1 + 표본 연결만
결론 문장
두 모델의 실행 조건(지연, 자원)과 실데이터 파이프라인 검증
주장 범위
학습 성능 주장 없음, 축 3~6 미측정 유지
교체 장
모델 비교 실측 행, 측정 결과 1, 2(표본만)
C. 실측 미확보
결론 문장
비교 기준, 데이터 규격, 도구 확보 — 1차 제출본 결론 유지
주장 범위
문서, 설계 분석과 합성 도구 시험까지
교체 장
측정 결과 장에 미수행 사유와 원인 기록, 2027 후속 과제 연결
공통
결과가 기대와 달라도 그대로 기재, 축소 또는 실패 결과도 수록. 결과 부족 시 논문 제목과 기여를 근거 수준으로 축소
※ 분기 판단 시점은 11/8(짧은 학습과 기준선 확보 상태)과 11/11(결과 마감, 안). 출처: 검수/팀장_수정권고안.md §3, 계획.md §4~§6
11/18 완성용 작업본 — 실측 결과 미수록
10

10. 완성 기준과 일정(안)

날짜는 결과 보장이 아닌 범위를 고르는 판단 시점 — 모두 팀장 권고(안)
기한(안)할 일완료 증거
10/28~11/4원시 신호, 시간축, 실행 환경 확인 + S1 추론 재현환경 기록, S1 측정 로그
11/6실제 표본 5~20건 변환→검사→로더 연결 점검표본, 품질검사, 적재 로그
11/8짧은 학습과 기준선 확보 상태 확인, 논문 범위 선택학습 로그, 분기 A/B/C 결정
11/10, 11/11논문용 결과 조기 동결, 발표, 보고서 결과 마감분할, 설정, 체크포인트 해시
11/16투고 패키지, 기술보고서 완성본, 발표 리허설학회 양식, 최종 파일
11/17투고 접수, 기술보고서 완성 확인, 내용 동결접수 확인 자료, 발표본 해시
※ R2~R4와 두 시뮬레이터 간 전이는 전제(신호, 실차 데이터 위치와 보안) 확인 전 필수 경로에 넣지 않음. 출처: 검수/팀장_수정권고안.md §3 공통 일정안, C09
설계와 도구 기반 확보 — 필드 적합성 판정은 실측 결과 확보 후
11
감사합니다. 한국기계연구원 KIMM
질의 대비
APPENDIX
A1
계획 대비 변경 사항
GR00T 버전, 시뮬레이터, 2단계 방식
A2
위험과 대안(안)
판단 시점별 대안과 분기
A3
데이터 분할과 품질 기준
720 / 80 / 100 / 100, Q1~Q13
A4
실험 정의와 지표
S1~S7, R1~R4, M1 정의
A5
10 Hz 지연 예산
S1 결과 대조 기준
A0

A1. 계획 대비 변경 사항

목표는 그대로, 수단만 최신 공개 자원과 안전 원칙에 맞춰 조정
항목계획서변경사유
분석 모델GR00T N1.6GR00T N1.7정식 출시(GA)와 주 개발선 이동, 다중 데이터셋 혼합 학습 지원, TensorRT와 Jetson 배포 경로 문서화 — N1.6도 여전히 이용 가능
시뮬레이션 환경Isaac Sim 가상 필드(Level 1)Isaac Sim + APEX(AGX) 추가심의의견 "토양 상호작용 고려" 반영, 고충실도 검증 환경으로 설계
2단계 실환경테스트베드 실굴착기 탑재섀도 모드 + 실차 로그 오프라인 평가미검증 정책의 실차 폐루프 구동 배제, 밸브 명령 미전송 원칙
Isaac 분할학습 800 / 보류 200(재계획)720 / 80 / 100 / 100튜닝 전용 검증셋과 같은 도메인 최종 시험셋 분리 — 누수 차단
※ 출처: 본문/1_개요.md 계획 대비 변경, 본문/2-가_모델서베이.md 4), 설계/데이터셋_정의서.md §8.2. 모두 설계 단계의 변경
11/18 완성용 작업본 — 실측 결과 미수록
A1

A2. 위험과 대안(안)

판단 시점을 미리 정해 결과 유무와 무관하게 정직한 최종본
위험판단 시점(안)대안
RunPod, HF 승인 지연11/3로컬 RTX 5080에서 S1 추론
시뮬레이터 신호 미확인 지속11/4APEX 기존 로그 변환으로 소수 표본, 불가 시 "규격과 도구 확보, 수집 미수행" 기재
π0.5 상태 차원 불일치11/4π0.5는 S1 추론 재현까지, 굴착 학습은 GR00T만
실제 표본 연결 실패11/6합성 시험 범위로 기재, 실패 원인 기록 → 분기 C
짧은 학습, 기준선 부족11/8논문을 주장 제한 기술논문으로 전환, 발표는 분기 B
GR00T 학습 실패11/8경량 모델(SmolVLA) 대체 시험, GR00T는 추론 실측과 파이프라인으로 기재
결과 마감까지 결과 없음11/11분기 C — 설계, 도구 중심 최종본 + 미수행 사유와 2027 후속 과제
※ 날짜는 팀장 공통 일정안 기준 권고(안). 출처: 계획.md §6, 검수/팀장_수정권고안.md §3, 설계/실험설계서.md §3
11/18 완성용 작업본 — 실측 결과 미수록
A2

A3. 데이터 분할과 품질 기준

분할은 생성 전에 고정, 보류셋은 학습과 튜닝에 사용 금지
표 A3-1. 분할 설계(설계안)
분할건수용도
Isaac 학습720S2, S3 최대점
Isaac 검증80튜닝 전용, 최종 보고 제외
같은 도메인 시험100S2, S3 최종 지표
미관측 도메인 시험100S4 강건성(요인 5 × 20)
APEX 퓨샷 풀20S6 퓨샷(5⊂10⊂20)
APEX 평가80S6, S7 봉인셋
표 A3-2. 품질검사 항목 구현 범위
구현항목
검사Q1 형식, Q2 수치, Q3 시간, Q6 샘플 나이, Q7 길이, Q11 분할 누수
부분Q4 필수 결측, Q8 물리 범위, Q9 라벨, Q12 행동 분포, Q13 진단열 격리
미구현Q5 선택 필드 결측, Q10 중복
Q8은 관절 한계 제원 미확정으로 부분 구현
※ 출처: 설계/데이터셋_정의서.md §6, §8, 설계/T5_구현보고.md §6.5, 연구현황_근거표 E06, E07
11/18 완성용 작업본 — 실측 결과 미수록
A3

A4. 실험 정의와 지표

계획서 연구내용마다 대응 실험과 지표를 1:1로 연결
실험계획서 대응방법지표
S1공개 실험 재현2종 공식 체크포인트 예제, 예열 10회 후 유효 100회지연 p50/p95, VRAM
S2Level 1 모델 탑재, 파인튜닝GR00T N1.7 NEW_EMBODIMENT, Isaac 학습 분할M1(첫 예측 행동 MAE)
S3제로샷, 퓨샷 효과0 / 소수 / 최대 n 에피소드 학습에피소드 수–오차
S4조명, 토양 강건성S2 모델을 미관측 도메인에서 평가도메인 갭(%)
S5Level 1 가상필드 검증로컬 추론 폐루프(도전 목표)성공률, 사이클 시간
S6제로샷 전이(대리)Isaac 학습 모델을 APEX에 적용, 0/5/10/20 퓨샷충실도 간 전이 갭
S7Co-training 비율(대리)Isaac:AGX 100:0 / 90:10 / 70:30 / 0:100비율별 오차
R1~R3Sim-to-Real 갭 원인 분석실차 로그 제로샷, 실차 퓨샷, sim:real 혼합관절별, 국면별 오차
R4테스트베드 탑재섀도 모드, 추론만 하고 명령 미전송지연, 행동 일치도
M1
첫 예측 행동의 관절별 MAE, 분모는 유효 평가 프레임 수, 평균 M1은 4관절 평균. chunk 구간 오차 M1-H는 별도 지표
※ 굴착 체크포인트 지연 벤치는 S1과 별도 표. 출처: 설계/실험설계서.md §1~§2, §5, 검수/팀장_수정권고안.md C01, C08
11/18 완성용 작업본 — 실측 결과 미수록
A4

A5. 10 Hz 제어주기 지연 예산

GR00T [공식] 지연 27.9~85.8 ms는 100 ms 주기 안 — L40 128.3 ms는 동기 실행 시 초과
10 Hz 제어주기 지연 예산
그림 4. 10 Hz 동기 실행의 지연 예산 — 가정 지연 20~120 ms 계산, GPU 실측 아님
[공식] GR00T N1.7 지연 대입: H100 TensorRT 27.9 ms → 점유 28 %, H100 eager 85.8 ms → 86 %, L40 eager 128.3 ms → 128 %
산식: 점유율 = L / 100 ms, 여유 = 100 ms − L. [공식] 값은 4 denoising step, 카메라 1대 조건의 개발사 공개값(본 연구 측정 아님). π0.5는 공식 지연 미확인으로 대입 제외. 센서, 통신, 유압 응답 지연 미포함
주기를 넘는 조건은 행동 chunk(H = 16 → 1.6 s, H = 40 → 4.0 s)의 비동기 실행 전제. 출처: 작성지원/정량설계_분석.md(D), 본문/2-가_모델서베이.md 표 2-가-1
11/18 완성용 작업본 — 실측 결과 미수록
A5