NK264F 최종발표 11/18 완성용 작업본 (2026-10-26 기준, 내부용) — 실측 결과를 수록할 작업본이며 1차 제출본은 발표자료.html. 일정은 모두 팀장 권고 (안). F 발표 모드, ← → 이동, Esc 종료. 작성 근거: 발표자료_v2_작성기록.md §6
2026년도 기본사업 최종발표
2026. 11. 18, R1동 대회의실
11/18 완성용 작업본 (10/26 기준)
2026 기본사업 창의도전형 NK264F
필드로봇 피지컬 AI
파운데이션 모델 탐색 연구모델 비교, 데이터 규격, 실측 검증 결과
이한민 책임연구원(실장), 한국기계연구원
가상공학플랫폼연구본부 산업기계DX연구실
1
1. 연구 필요성
실내 조작에서 검증된 VLA, 야외 굴착 조건은 별도 분석 필요
기존 사진
KIMM 굴착 테스트베드
표 1. 실내 조작과 야외 굴착의 작업 조건 비교
| 구분 | 실내 조작(공개 VLA 대표 시연) | 야외 굴착(본 연구 대상) |
| 환경 | 정형 실내, 테이블 위 물체 | 비정형 지형, 토양 접촉과 굴착 부하 |
| 구동 | 전동 팔과 그리퍼 | 유압 실린더, 명령 지연 0.11~0.16 s(HR35 현장 로그) |
| 관측 | 일정 조명, 근접 카메라 | 조명 변화, 분진과 역광, 캐빈 시점 |
| 핵심 상태 | 관절각, 그리퍼 개폐 | 실린더 압력, 버킷 자세, 전방 지형 높이 |
| 공개 데이터 | Open X-Embodiment 22종 로봇, 100만+ 궤적 | 굴착 특화 ExT — 범용 VLA와 별도 계열 |
본 연구
굴착 1종, Level 1 통제 필드 범위에서 범용 VLA 2종의 적용성 분석
※ Open X-Embodiment(arXiv 2310.08864), ExT(arXiv 2509.14992) 원문 확인 2026-10-22. 유압 지연은 연구실 내부 개발기록(260911 HR35 현장 식별). 사진: FES2026 발표 원본 자료
11/18 완성용 작업본 — 실측 결과 미수록
2
2. 연구 목표와 완성 조건
설계와 도구 기반 확보 — 필드 적합성 판정은 실측 결과 확보 후
| 계획서 목표 | 10/26 확보 | 11/18 완성 조건 | 상태 |
| ① 모델 서베이 | 공식 문서 비교표, 개방성 7항목, 7축 평가체계 | S1 공식 예제 지연, VRAM 실측 연결 | 설계 미측정 |
| ② 데이터셋 설계 | AO-v0.1 규격, 분할 설계, 변환·검사 도구(합성 시험 70건) | 실제 표본 5~20건 변환→검사→로더 연결 | 합성 시험 데이터 0건 |
| ③ 모델 적용 실험 | S1~S7, R1~R4 설계, 지표와 기준선 정의 | 짧은 학습 + 기준선 비교, 결과 마감 11/11(안) | 계획 |
| ④ 로드맵 기획 | 전략사업 제안서, 국과심 발표, 계획서 초안 v0.4 | 기획 문서 작성 완료, 실험 결과 반영 예정 | 기획 문서 |
| 정량 성과 | 논문, 기술보고서 초안 작성 중 — 투고, 완성, 신청 0건 | 투고 접수, 기술보고서 완성 11/17(안), SW 대상 결정 | 0 / 3건 |
기획 문서 근거 문서 있음설계 정의, 분석합성 시험 합성 데이터 도구 시험미측정 실측 없음계획 11월 수행(안)
※ 날짜는 팀장 공통 일정안(검수/팀장_수정권고안.md §3)이며 사용자 승인 전 확정 아님. 결과가 기대와 달라도 그대로 기재. 출처: 본문/1_개요.md 목표표, 연구현황_근거표.md §1, §3
11/18 완성용 작업본 — 실측 결과 미수록
3
3. VLA 모델 2종 구조 비교
두 모델 모두 신규 로봇 파인튜닝 공식 절차 확인 — 굴착 규격 적용과 성능은 미검증
표 2. π0.5와 GR00T N1.7 비교(개발사 공식 문서 기준, 확인일 2026-10-22)
| 구분 | π0.5 (Physical Intelligence, openpi) | GR00T N1.7 (NVIDIA) |
| 모델 구조 | PaliGemma VLM + 행동 전문가, flow matching | Cosmos-Reason2-2B VLM + DiT 행동 헤드, 약 3B |
| 로봇 상태 입력 | 기본 설정은 이산 언어 토큰(연속 입력 설정 가능) | embodiment별 MLP 연속 인코딩 |
| 행동 출력 | 연속 행동 chunk, 32차원 패딩 | 연속 행동 chunk, 최대 132차원, 40 step |
| 새 로봇 적용 | 입출력 변환 + 학습 설정 작성 | NEW_EMBODIMENT + modality.json |
| 학습 자원 [공식] | LoRA 22.5 GB 이상(JAX 경로만) | GPU당 최대 약 35 GB, 40 GB 이상 권장 |
| 추론 지연 [공식] | 공식 수치 미확인(추론 8 GB 이상) | H100 85.8 ms(eager), 27.9 ms(TensorRT) |
| 본 과제 S1 실측 | 결과 슬롯 — 예열 10회 후 유효 100회 p50/p95 | 결과 슬롯 — 예열 10회 후 유효 100회 p50/p95 |
※ openpi 커밋 215abfb, Isaac-GR00T 커밋 dac54b3, HF GR00T-N1.7-3B 리비전 2fc962b9. [공식] 값은 개발사 조건(GPU, 백엔드)의 공개 수치이며 본 연구 측정값이 아님. 접근 조건과 라이선스는 7축 평가체계의 개방성, 굴착 적용 사례는 부록 A5. 계획서의 GR00T N1.6은 정식 출시 N1.7로 변경(부록 A1)
11/18 완성용 작업본 — 실측 결과 미수록
4
4. 필드 적합성 7축 평가체계
7개 축의 지표와 분모 정의 — 공식 문서로 분석 가능한 축부터 1차 분석
E2E 추론 지연 p50/p95 (ms), 재계획 Hz
GR00T [공식] H100 27.9~85.8 ms — 10 Hz 주기(100 ms) 안. π0.5 공식 수치 없음
공식 문서 분석
추론, 학습 최대 VRAM (GB)
학습 [공식] π0.5 LoRA 22.5 GB 이상, GR00T 40 GB급 GPU 권장
공식 문서 분석
M1 첫 예측 행동 MAE, 버킷 끝 오차 (cm)
굴착 4D를 두 모델 모두 패딩으로 수용(32D, 132D)
공식 문서 분석
상태, 영상 가림 시 오차 증가율 (%)
55D 연속 상태 — GR00T는 연속 MLP, π0.5 기본은 이산 토큰(분해능 검토 대상)
공식 문서 분석
에피소드 수–오차 곡선, N90
학습점 0~720 에피소드, 고정 시드 표본으로 분모 정의
지표 정의
도메인 갭 (%), 충실도 간 전이 갭
미관측 도메인 시험 100 = 요인 5 × 20으로 분모 정의
지표 정의
코드, 가중치, 이용 조건 등 7항목
코드와 가중치 모두 공개. GR00T 백본 승인제, 라이선스 표기 불일치. π0.5 Gemma 약관 병기
공식 문서 분석
실측 반영 위치
축 1, 2 → S1 결과(8번)
축 3~5 → 짧은 학습 M1(8번)
축 6 → S4, S6 확보 시만
판정 합격선은 전문가 리뷰로 확정
※ 계획서 분석 항목(입출력, 데이터 요구량, 제로샷/퓨샷, 지형, 조명, 통신 지연)을 7축에 대응. 출처: 설계/평가프레임워크.md v1 §2~§4, 본문/2-가_모델서베이.md 표 2-가-1, 2-가-2(확인일 2026-10-22)
11/18 완성용 작업본 — 실측 결과 미수록
5
5. 굴착 관측–행동 공통 규격
두 시뮬레이터와 실차를 하나의 규격으로 — 관측 55D, 행동 4D, 10 Hz
기존 사진 + 개념 표시
버킷
암
붐
선회
행동 4D — 선회, 붐, 암, 버킷 관절 속도 명령(rad/s)
사진: KIMM 3.5톤 전기굴착기(FES2026 발표 원본). 관절 위치 표시는 개념
캐빈 RGB 1대(640×480) + 상태 벡터
55D
관절 8부하 9직전 행동 4버킷 자세 7차체 기울기 2지형 7태스크 12유효 마스크 6
10 Hz 격자, 모델 입력은 과거 샘플만(인과), 행동은 영차 유지
LeRobot v2.1 + modality.json(GR00T 형식)
Isaac은 관절 토크, APEX와 실차는 실린더 압력 — 환산 없이 별도 필드 + 마스크
※ 출처: 설계/데이터셋_정의서.md AO-v0.1-r2-draft §0, §3, §4, 설계/modality.json(2026-10-22). 구성은 확정, 차원 배치는 잠정 설계값. 상태 55D는 ExT 논문의 관측 55D와 내역이 다름
11/18 완성용 작업본 — 실측 결과 미수록
6
6. 데이터 변환과 품질검사 파이프라인
변환부터 공식 로더 적재까지 구현 — 합성 데이터 CPU 시험 70건 통과
그림 1. 데이터 파이프라인 구현 범위(개념도) — 파랑 설계, 초록 구현과 합성 데이터 시험
Isaac+FEE, APEX, 실차 필드 매핑표설계
▶
▶
▶
▶
▶
- 전체 회귀 70건 통과, skip 0(8.35 s, 팀장 재실행 8.43 s)
- 공식 LeRobot v2.1 로더 — 상태 55D, 행동 (16, 4), 영상 (3, 480, 640) 적재
- GR00T 정규화 — 속도 명령 정규화 후 원값 복원(허용오차 1e-4)
- 시간 규약 — 2,559프레임(255.8 s) 간격 검사
NaN타임스탬프 지터영상 프레임 누락길이 불일치라벨 누락modality 구간 중복그룹, 도메인 누수(Q11)미래 샘플 사용(Q6)진단열 입력(Q13)
※ 70건은 합성 데이터로 한 도구 동작 시험이며 VLA 학습 성능이나 데이터셋 구축 실적이 아님. 모델 가중치 로딩, GPU 실행 없음. 출처: 설계/T5_구현보고.md §2 V2~V9, §6.4, 작업인덱스 2026-10-22 23:11
11/18 완성용 작업본 — 실측 결과 미수록
7
7. 2단계 검증 실험 설계
시뮬레이션 사전 검증 S1~S7 → 실환경 검증 R1~R4
그림 1. 실험 구성(개념도) — 필수 경로 S1, 표본 연결, 짧은 학습. 나머지는 전제 확보 시
▼
지표
M1 첫 예측 행동 MAE, M1-H 구간 오차(별도), 지연 p50/p95, VRAM
sim-to-sim 대리 실험(S6, S7)의 해석 한계
유압 실물 부재센서 분진, 역광 미반영토양 실물 부재시연자가 사람 아닌 제어기부하 채널 구성 차이APEX 평가 80건 규모
※ 보라 점선 S6, S7은 Isaac+FEE → AGX(APEX) sim-to-sim 대리 실험 — 실차 전이 갭의 예측값이 아니라 절차와 경향 확인용. 출처: 설계/실험설계서.md EXP-v0.1-r2 §0~§3
11/18 완성용 작업본 — 실측 결과 미수록
8
8. 측정 결과
결과 수록 자리 — 11/11(안) 결과 마감 후 실측값으로 교체, 미확보 항목은 미수행 기재
S09-RES-1표 — S1 공식 예제 추론 지연 p50/p95(ms), 최대 VRAM(GB)
GR00T N1.7, π0.5표 · 250×118
결과 1. 공식 예제 추론 재현(S1)
데이터 개발사 공식 예제 입력
측정 예열 10회 후 유효 100회, 배치 1
로그 GPU, 드라이버, 정밀도, 백엔드, 커밋
대조 부록 A5 지연 예산(100 ms)
별도 굴착 체크포인트 지연은 다른 표
S09-RES-2표 — 실제 표본 품질검사 합격, 로더 적재
짧은 학습 M1 대 기준선(MLP 행동복제)표 · 250×118
결과 2. 표본 연결과 짧은 학습(S2 축소)
데이터 실제 표본 5~20건, splits.json 해시
지표 M1 = 첫 예측 행동 관절별 MAE, 분모 유효 평가 프레임 수
로그 학습 설정, step, 체크포인트 해시
주의 짧은 시험 1회를 S2 완료로 계산 금지
S09-RES-3표 — 도메인 갭(S4), sim-to-sim 전이 갭(S6)
전제 미확보 시 이 칸은 "미수행"표 · 250×118
결과 3. 강건성과 전이(조건부)
데이터 같은 도메인 시험 100, 미관측 100
지표 도메인 갭(%), 충실도 간 전이 갭
표기 제목에 sim-to-sim 명시
한계 요인별 n = 20, 단일 시드
※ M1-H(chunk 구간 오차)는 M1과 섞지 않고 별도 보고. 정책 간 차이는 같은 평가 에피소드에서 차이의 불확실성으로 판단(고정 5~6 % 판정선 미사용). 지표 정의 확정 전 결과표 입력 금지. 출처: 검수/팀장_수정권고안.md C01, C07, C08, 설계/실험설계서.md
11/18 완성용 작업본 — 실측 결과 미수록
9
9. 결과별 결론 분기
11/11(안) 확보 수준에 따라 주장 범위를 미리 정한 세 가지 결론
결론 문장
시뮬레이션 굴착 데이터에서 VLA 적용 가능성과 데이터 요구량 1차 비교
주장 범위
Isaac 시뮬레이션 안, 단일 시드, 기준선 대비 M1
교체 장
목표 표, 모델 비교 실측 행, 7축 값, 측정 결과 1~3, 결론 바
결론 문장
두 모델의 실행 조건(지연, 자원)과 실데이터 파이프라인 검증
주장 범위
학습 성능 주장 없음, 축 3~6 미측정 유지
교체 장
모델 비교 실측 행, 측정 결과 1, 2(표본만)
결론 문장
비교 기준, 데이터 규격, 도구 확보 — 1차 제출본 결론 유지
주장 범위
문서, 설계 분석과 합성 도구 시험까지
교체 장
측정 결과 장에 미수행 사유와 원인 기록, 2027 후속 과제 연결
공통
결과가 기대와 달라도 그대로 기재, 축소 또는 실패 결과도 수록. 결과 부족 시 논문 제목과 기여를 근거 수준으로 축소
※ 분기 판단 시점은 11/8(짧은 학습과 기준선 확보 상태)과 11/11(결과 마감, 안). 출처: 검수/팀장_수정권고안.md §3, 계획.md §4~§6
11/18 완성용 작업본 — 실측 결과 미수록
10
10. 완성 기준과 일정(안)
날짜는 결과 보장이 아닌 범위를 고르는 판단 시점 — 모두 팀장 권고(안)
| 기한(안) | 할 일 | 완료 증거 |
| 10/28~11/4 | 원시 신호, 시간축, 실행 환경 확인 + S1 추론 재현 | 환경 기록, S1 측정 로그 |
| 11/6 | 실제 표본 5~20건 변환→검사→로더 연결 점검 | 표본, 품질검사, 적재 로그 |
| 11/8 | 짧은 학습과 기준선 확보 상태 확인, 논문 범위 선택 | 학습 로그, 분기 A/B/C 결정 |
| 11/10, 11/11 | 논문용 결과 조기 동결, 발표, 보고서 결과 마감 | 분할, 설정, 체크포인트 해시 |
| 11/16 | 투고 패키지, 기술보고서 완성본, 발표 리허설 | 학회 양식, 최종 파일 |
| 11/17 | 투고 접수, 기술보고서 완성 확인, 내용 동결 | 접수 확인 자료, 발표본 해시 |
※ R2~R4와 두 시뮬레이터 간 전이는 전제(신호, 실차 데이터 위치와 보안) 확인 전 필수 경로에 넣지 않음. 출처: 검수/팀장_수정권고안.md §3 공통 일정안, C09
설계와 도구 기반 확보 — 필드 적합성 판정은 실측 결과 확보 후
11
A1
계획 대비 변경 사항
GR00T 버전, 시뮬레이터, 2단계 방식
A3
데이터 분할과 품질 기준
720 / 80 / 100 / 100, Q1~Q13
A4
실험 정의와 지표
S1~S7, R1~R4, M1 정의
A0
A1. 계획 대비 변경 사항
목표는 그대로, 수단만 최신 공개 자원과 안전 원칙에 맞춰 조정
| 항목 | 계획서 | 변경 | 사유 |
| 분석 모델 | GR00T N1.6 | GR00T N1.7 | 정식 출시(GA)와 주 개발선 이동, 다중 데이터셋 혼합 학습 지원, TensorRT와 Jetson 배포 경로 문서화 — N1.6도 여전히 이용 가능 |
| 시뮬레이션 환경 | Isaac Sim 가상 필드(Level 1) | Isaac Sim + APEX(AGX) 추가 | 심의의견 "토양 상호작용 고려" 반영, 고충실도 검증 환경으로 설계 |
| 2단계 실환경 | 테스트베드 실굴착기 탑재 | 섀도 모드 + 실차 로그 오프라인 평가 | 미검증 정책의 실차 폐루프 구동 배제, 밸브 명령 미전송 원칙 |
| Isaac 분할 | 학습 800 / 보류 200(재계획) | 720 / 80 / 100 / 100 | 튜닝 전용 검증셋과 같은 도메인 최종 시험셋 분리 — 누수 차단 |
※ 출처: 본문/1_개요.md 계획 대비 변경, 본문/2-가_모델서베이.md 4), 설계/데이터셋_정의서.md §8.2. 모두 설계 단계의 변경
11/18 완성용 작업본 — 실측 결과 미수록
A1
A2. 위험과 대안(안)
판단 시점을 미리 정해 결과 유무와 무관하게 정직한 최종본
| 위험 | 판단 시점(안) | 대안 |
| RunPod, HF 승인 지연 | 11/3 | 로컬 RTX 5080에서 S1 추론 |
| 시뮬레이터 신호 미확인 지속 | 11/4 | APEX 기존 로그 변환으로 소수 표본, 불가 시 "규격과 도구 확보, 수집 미수행" 기재 |
| π0.5 상태 차원 불일치 | 11/4 | π0.5는 S1 추론 재현까지, 굴착 학습은 GR00T만 |
| 실제 표본 연결 실패 | 11/6 | 합성 시험 범위로 기재, 실패 원인 기록 → 분기 C |
| 짧은 학습, 기준선 부족 | 11/8 | 논문을 주장 제한 기술논문으로 전환, 발표는 분기 B |
| GR00T 학습 실패 | 11/8 | 경량 모델(SmolVLA) 대체 시험, GR00T는 추론 실측과 파이프라인으로 기재 |
| 결과 마감까지 결과 없음 | 11/11 | 분기 C — 설계, 도구 중심 최종본 + 미수행 사유와 2027 후속 과제 |
※ 날짜는 팀장 공통 일정안 기준 권고(안). 출처: 계획.md §6, 검수/팀장_수정권고안.md §3, 설계/실험설계서.md §3
11/18 완성용 작업본 — 실측 결과 미수록
A2
A3. 데이터 분할과 품질 기준
분할은 생성 전에 고정, 보류셋은 학습과 튜닝에 사용 금지
표 A3-1. 분할 설계(설계안)
| 분할 | 건수 | 용도 |
| Isaac 학습 | 720 | S2, S3 최대점 |
| Isaac 검증 | 80 | 튜닝 전용, 최종 보고 제외 |
| 같은 도메인 시험 | 100 | S2, S3 최종 지표 |
| 미관측 도메인 시험 | 100 | S4 강건성(요인 5 × 20) |
| APEX 퓨샷 풀 | 20 | S6 퓨샷(5⊂10⊂20) |
| APEX 평가 | 80 | S6, S7 봉인셋 |
표 A3-2. 품질검사 항목 구현 범위
| 구현 | 항목 |
| 검사 | Q1 형식, Q2 수치, Q3 시간, Q6 샘플 나이, Q7 길이, Q11 분할 누수 |
| 부분 | Q4 필수 결측, Q8 물리 범위, Q9 라벨, Q12 행동 분포, Q13 진단열 격리 |
| 미구현 | Q5 선택 필드 결측, Q10 중복 |
Q8은 관절 한계 제원 미확정으로 부분 구현
※ 출처: 설계/데이터셋_정의서.md §6, §8, 설계/T5_구현보고.md §6.5, 연구현황_근거표 E06, E07
11/18 완성용 작업본 — 실측 결과 미수록
A3
A4. 실험 정의와 지표
계획서 연구내용마다 대응 실험과 지표를 1:1로 연결
| 실험 | 계획서 대응 | 방법 | 지표 |
| S1 | 공개 실험 재현 | 2종 공식 체크포인트 예제, 예열 10회 후 유효 100회 | 지연 p50/p95, VRAM |
| S2 | Level 1 모델 탑재, 파인튜닝 | GR00T N1.7 NEW_EMBODIMENT, Isaac 학습 분할 | M1(첫 예측 행동 MAE) |
| S3 | 제로샷, 퓨샷 효과 | 0 / 소수 / 최대 n 에피소드 학습 | 에피소드 수–오차 |
| S4 | 조명, 토양 강건성 | S2 모델을 미관측 도메인에서 평가 | 도메인 갭(%) |
| S5 | Level 1 가상필드 검증 | 로컬 추론 폐루프(도전 목표) | 성공률, 사이클 시간 |
| S6 | 제로샷 전이(대리) | Isaac 학습 모델을 APEX에 적용, 0/5/10/20 퓨샷 | 충실도 간 전이 갭 |
| S7 | Co-training 비율(대리) | Isaac:AGX 100:0 / 90:10 / 70:30 / 0:100 | 비율별 오차 |
| R1~R3 | Sim-to-Real 갭 원인 분석 | 실차 로그 제로샷, 실차 퓨샷, sim:real 혼합 | 관절별, 국면별 오차 |
| R4 | 테스트베드 탑재 | 섀도 모드, 추론만 하고 명령 미전송 | 지연, 행동 일치도 |
M1
첫 예측 행동의 관절별 MAE, 분모는 유효 평가 프레임 수, 평균 M1은 4관절 평균. chunk 구간 오차 M1-H는 별도 지표
※ 굴착 체크포인트 지연 벤치는 S1과 별도 표. 출처: 설계/실험설계서.md §1~§2, §5, 검수/팀장_수정권고안.md C01, C08
11/18 완성용 작업본 — 실측 결과 미수록
A4
A5. 10 Hz 제어주기 지연 예산
GR00T [공식] 지연 27.9~85.8 ms는 100 ms 주기 안 — L40 128.3 ms는 동기 실행 시 초과
그림 4. 10 Hz 동기 실행의 지연 예산 — 가정 지연 20~120 ms 계산, GPU 실측 아님
[공식] GR00T N1.7 지연 대입: H100 TensorRT 27.9 ms → 점유 28 %, H100 eager 85.8 ms → 86 %, L40 eager 128.3 ms → 128 %
산식: 점유율 = L / 100 ms, 여유 = 100 ms − L. [공식] 값은 4 denoising step, 카메라 1대 조건의 개발사 공개값(본 연구 측정 아님). π0.5는 공식 지연 미확인으로 대입 제외. 센서, 통신, 유압 응답 지연 미포함
주기를 넘는 조건은 행동 chunk(H = 16 → 1.6 s, H = 40 → 4.0 s)의 비동기 실행 전제. 출처: 작성지원/정량설계_분석.md(D), 본문/2-가_모델서베이.md 표 2-가-1
11/18 완성용 작업본 — 실측 결과 미수록
A5