R Research Notes Physical AI · Field Report

NVIDIA Jetson AI Lab 세션 분석

로봇이 보고,
배우고, 움직이기까지

LeRobot과 Isaac GR00T N1.7의 데이터·정책 워크플로부터 Jetson Thor의 엣지 추론, ROS 2와 AgenticROS가 만드는 인지·행동 폐루프까지—Physical AI를 실제 로봇으로 옮기는 전체 파이프라인을 장면 근거와 함께 해부한다.

SESSION EVIDENCE · 00:03:45 Jetson Thor와 SO-101 로봇팔을 이용한 LeRobot 및 GR00T N1.7 통합 데모 슬라이드
세션의 핵심 구성: LeRobot은 데이터와 실험 흐름을, GR00T는 VLA 정책을, Jetson Thor는 엣지 추론을, SO-101은 물리적 행동 실행을 담당한다.

Abstract

모델보다 중요한 것은 연결 구조다

이 세션은 로봇 파운데이션 모델을 소개하는 데서 멈추지 않는다. 시뮬레이션과 텔레오퍼레이션으로 데이터를 수집하고, LeRobot에서 데이터셋과 정책 실험을 관리하며, Isaac GR00T N1.7을 특정 작업에 맞게 파인튜닝한 뒤 Jetson Thor와 실제 로봇에서 실행하는 종단간 흐름을 보여준다.

후반부 AgenticROS 데모는 여기에 자연어 에이전트 계층을 더한다. RealSense가 환경을 관측하고, 에이전트가 목표를 도구 호출로 분해하며, ROS 2가 센서·제어 노드와 실제 이동 로봇을 연결한다. 두 데모가 함께 드러내는 결론은 명확하다. Physical AI의 성패는 단일 모델의 점수보다 데이터, embodiment, 제어 계약, 안전, 지연, 관찰성을 얼마나 일관된 시스템으로 묶는가에 달려 있다.

Key Findings

이 영상에서 건질 여섯 가지

세션은 서로 다른 두 데모를 통해 같은 메시지를 반복한다. 로봇 지능은 모델 파일 하나가 아니라 관측에서 행동까지 이어지는 운영 가능한 시스템이다.

01

학습은 반복 가능한 루프다

로봇 설정, 시범 수집, 데이터셋 구성, 학습, 실제 평가가 한 번의 직선 과정이 아니라 반복 루프를 이룬다.

02

LeRobot과 GR00T의 역할은 다르다

LeRobot은 데이터·실험 워크플로를 제공하고, GR00T N1.7은 시각과 언어에서 행동을 생성하는 VLA 정책 계층을 맡는다.

03

Jetson은 로봇 가까이에서 추론한다

엣지 실행은 제어 지연과 네트워크 의존성을 줄이고, 센서와 정책 런타임을 실제 장비에 가깝게 배치한다.

04

ROS 2는 연결과 운영의 계층이다

모델 출력, 카메라 관측, 로봇 명령을 노드·토픽·서비스·액션의 명시적 인터페이스로 연결한다.

05

에이전트는 검증된 도구를 조합해야 한다

자연어 임무는 센서 읽기, 이동, 정지, 조건 판단 같은 제한된 스킬과 추적 가능한 도구 호출로 변환된다.

06

안전과 관찰성은 부가 기능이 아니다

속도·작업 공간 제한, 비상 정지, 좌표계, 실행 로그와 실패 추적이 모델 정확도만큼 중요한 시스템 요건이다.

Physical AI의 병목은 ‘더 큰 모델’ 하나가 아니라, 데이터에서 관절 명령까지 이어지는 모든 경계를 신뢰할 수 있게 만드는 일이다.

세션의 두 데모를 관통하는 시스템 관점의 결론

System View

하나의 로봇 지능, 여덟 개의 계층

화면에서 확인되는 요소를 기능별로 분리하면 각 기술의 역할과 교체 가능한 경계가 선명해진다. 이 구분은 특정 제품 목록보다 실제 구현에 더 유용하다.

계층 화면에서 확인된 요소 시스템 역할 핵심 운영 질문
로봇 하드웨어 SO-101, LeKiwi, 소형 이동 로봇 관절·그리퍼·바퀴를 통한 행동 실행 행동 공간과 안전 한계가 명시됐는가?
센서 RGB 카메라, RealSense 계열 깊이 장치 환경과 로봇 상태의 관측 제공 시야, 깊이 정렬, 좌표계가 안정적인가?
데이터 텔레오퍼레이션, 시뮬레이션, 작업 모자이크 관측·상태·행동·지시의 시간 정렬 배포 조건과 데이터 분포가 일치하는가?
정책 ACT 구조, Isaac GR00T N1.7 VLA 시각·언어 조건에서 연속 행동 예측 지연과 제어 안정성의 균형은 어떤가?
워크플로 LeRobot 0.6.1 수집, 학습, 평가, 배포의 재현 가능한 연결 실험 설정과 데이터 버전이 추적되는가?
엣지 컴퓨팅 NVIDIA Jetson Thor 로봇 가까이에서 정책과 런타임 실행 최악 조건의 추론 지연을 감당하는가?
미들웨어 ROS 2 센서·모델·제어를 노드와 인터페이스로 연결 시간 제한과 실패 상태가 계약에 포함됐는가?
에이전트 AgenticROS UI, 스킬, 도구 실행 로그 자연어 목표를 제한된 로봇 도구 호출로 변환 권한, 중지 규칙, 감사 로그가 있는가?

Evidence I

시범에서 정책까지: LeRobot 학습 루프

전반부는 데이터가 만들어지고 실제 행동으로 되돌아가는 과정을 순서대로 보여준다. 여기서 LeRobot의 가치는 특정 알고리즘 하나보다 전체 실험 흐름을 재현 가능한 도구 체계로 묶는 데 있다.

1. 시뮬레이션은 초기 시행착오의 비용을 낮춘다

실제 장비만으로 데이터를 모으면 충돌 위험, 하드웨어 마모, 작업자 시간과 환경 재설정 비용이 빠르게 커진다. 시뮬레이션은 작업 조건과 궤적을 반복 생성해 초기 데이터 구축의 안전성과 재현성을 높인다. 다만 최종 성능은 실제 환경의 조명, 마찰, 카메라 시점과 제어 지연을 얼마나 반영하는지에 달려 있다.

코드와 여러 시뮬레이션 환경이 함께 보이는 Collecting Data in Simulation 슬라이드
00:07:25 설정·코드와 여러 시뮬레이션 장면이 병렬로 제시된다. 실제 로봇에 적용하기 전 작업 조건과 데이터 생성 절차를 반복 검증하는 단계로 읽을 수 있다.

2. 파인튜닝은 데이터·지표·실환경 평가의 삼각형이다

범용 사전학습 정책을 특정 로봇과 작업에 맞추려면 수집 데이터만 투입해서는 부족하다. 학습 곡선으로 최적화 상태를 확인하고, 실제 장비에서 실패 유형을 분류한 뒤, 부족한 조건을 다시 데이터에 반영해야 한다. 화면은 이 세 요소가 하나의 실험 단위로 다뤄져야 함을 보여준다.

학습 곡선과 로봇 작업 화면이 나란히 있는 GR00T N1.7 파인튜닝 슬라이드
00:10:25 학습 곡선과 작업 실행 화면이 함께 등장한다. 훈련 지표와 실제 성공 여부를 분리하지 않고 같은 반복 루프 안에서 평가해야 한다는 점이 중요하다.

3. 데이터셋은 양보다 조건의 다양성이 중요하다

텔레오퍼레이션 시범은 관측과 행동이 시간 정렬된 데이터가 된다. 하지만 같은 배경, 같은 물체 배치, 같은 카메라 각도만 반복하면 정책은 좁은 조건에 과적합되기 쉽다. 물체, 배경, 시점, 조작 방식과 실패 회복 상황을 설계적으로 포함해야 실제 배포에서 일반화를 기대할 수 있다.

4. 정책 구조는 제어 주기와 함께 봐야 한다

ACT 계열 구조는 연속 행동을 묶어 예측하는 action chunking으로 제어의 시간 구조를 다룬다. 이는 단일 프레임마다 명령을 새로 생성하는 방식과 달리 추론 지연, 동작의 부드러움, 오류가 지속되는 시간 사이의 균형을 요구한다. 정책 구조를 선택할 때는 벤치마크 점수뿐 아니라 로봇의 제어 주기와 최악 조건의 지연을 함께 측정해야 한다.

Evidence II

자연어에서 로봇 행동까지: AgenticROS 폐루프

후반부는 학습 정책 자체보다 로봇을 운영하는 에이전트 계층에 초점을 맞춘다. 에이전트는 목표를 해석하고, AgenticROS는 이를 로봇 도구로 연결하며, ROS 2와 RealSense는 각각 제어 인터페이스와 환경 관측을 제공한다.

AI 에이전트, AgenticROS, ROS, 센서와 로봇을 연결한 전체 아키텍처 다이어그램
00:29:15 에이전트, AgenticROS, ROS, RealSense와 로봇을 잇는 전체 구조. 상위 목표와 실제 제어 사이에 명시적 어댑터와 로봇 미들웨어가 존재한다.

1. 센서는 에이전트의 ‘눈’이기 전에 좌표계의 일부다

카메라 스트림을 에이전트에 노출하는 것만으로 안정적인 인지가 완성되지는 않는다. 카메라의 장착 위치와 시야, RGB·깊이 정렬, 로봇 기준 좌표계와의 변환이 일관돼야 “앞에 있는 물체”라는 언어 표현이 실제 이동과 조작 명령으로 이어질 수 있다. 전원, 배선, 고정과 열 관리 역시 같은 시스템 문제다.

2. 운영 화면은 결과보다 과정이 보여야 한다

로봇 에이전트의 신뢰성은 최종 응답 문장보다 어떤 도구를 선택했고, 어떤 인자를 전달했으며, 무엇을 관측하고 반환받았는지 추적할 수 있는가에 달려 있다. 터미널 로그, 카메라 피드, 제어 인터페이스와 대화 기록은 서로 다른 장식이 아니라 같은 실행을 관찰하는 복수의 창이다.

3. 자연어 임무는 제한된 스킬로 내려와야 한다

“주변을 살펴봐”, “큐브를 집어”, “나를 따라와” 같은 자연어 목표는 그대로 모터에 전달되지 않는다. 센서 읽기, 대상 선택, 이동 명령, 반복 조건과 중지 규칙으로 분해되어야 한다. 검증된 절차를 스킬로 패키징하면 에이전트는 낮은 수준의 제어를 매번 새로 생성하지 않고 안전 범위 안에서 임무를 조합할 수 있다.

Session Map

47분의 전개를 한눈에 보기

영상은 전반부의 로봇 학습 파이프라인과 후반부의 에이전트 운영 데모로 나뉜다. 중간 패널을 경계로 “정책을 어떻게 학습하는가”에서 “학습된 지능과 도구를 어떻게 실제 로봇에 연결하는가”로 질문이 이동한다.

00:00–00:14
통합 스택과 학습 준비

안전, Jetson Thor·SO-101 통합, GR00T N1.7 VLA, 시뮬레이션 데이터 수집과 파인튜닝.

00:14–00:23
LeRobot 종단간 워크플로

지원 로봇, 텔레오퍼레이션, 데이터셋, ACT 계열 모델, 설치와 실제 작업대 데모.

00:23–00:28
패널과 전환

질의응답을 거쳐 학습 중심의 전반부에서 오픈소스 에이전트 데모로 이동.

00:28–00:47
AgenticROS·ROS 2·RealSense

이동 로봇 하드웨어, 센서 피드, 에이전트 해석, 도구 호출, 재사용 스킬과 자연어 임무 실행.

Implications

연구팀과 개발팀이 가져갈 것

  1. 데이터 계약을 먼저 설계하라

    관측, 로봇 상태, 행동, 언어 지시와 시간 정보의 형식이 명확해야 정책이나 로봇을 교체해도 전체 파이프라인이 유지된다.

  2. embodiment를 설정 파일 이상으로 다뤄라

    관절 범위, 그리퍼 방향, 센서 좌표계와 제어 주기는 모델 입력·출력의 의미를 결정한다. 잘못된 정의는 데이터 전체를 오염시킨다.

  3. 평균 지연이 아니라 최악 조건을 측정하라

    엣지 추론의 목적은 단순한 오프라인 처리 속도가 아니다. 제어 주기 안에서 예측 가능하게 응답하고 안전 정지가 항상 우선돼야 한다.

  4. 에이전트에게 무제한 제어권을 주지 마라

    자연어 목표는 권한이 제한된 스킬로 변환하고, 속도·공간·시간 제한과 승인·중지 규칙을 실행 계층에서 강제해야 한다.

  5. 성공률과 함께 실패 경로를 저장하라

    센서 프���임, 선택된 도구, 인자, ROS 상태, 정책 출력과 실제 결과를 같은 실행 식별자로 묶어야 재현과 개선이 가능하다.

실제 프로토타입을 위한 최소 점검표

  • 비상 정지와 속도·작업 공간 제한이 에이전트보다 낮은 계층에서 강제되는가?
  • 카메라 시야, 깊이 정렬과 로봇 좌표 변환이 반복 측정으로 검증됐는가?
  • 수집 환경과 배포 환경의 조명·배경·물체 분포 차이를 기록했는가?
  • 관측·행동 타임스탬프와 제어 지연을 하나의 로그에서 추적할 수 있는가?
  • 각 스킬에 시작 조건, 성공 조건, 시간 제한과 안전한 중지 동작이 있는가?
  • 실패 사례가 다음 수집·학습 주기로 되돌아가는 데이터 운영 절차가 있는가?

자연어 인터페이스는 안전 제약을 대체하지 않는다. 좋은 에이전트는 무엇이든 할 수 있는 에이전트가 아니라, 허용된 행동을 투명하게 조합하는 에이전트다.

AgenticROS 데모가 보여주는 운영 원칙

Sources & Limitations

근거, 출처, 그리고 해석의 경계

자료의 한계

  • 한국어 자동 자막에는 고유명사와 기술 용어의 오인식 가능성이 있다. 따라서 자막의 문장을 직접 인용하지 않았다.
  • 정확한 명령어와 수치는 1080p 화면에서 판독 가능한 범위만 기록했으며, 흐릿한 그래프 값은 추정하지 않았다.
  • 추출 장면은 회의 UI와 참가자 패널을 제외하고 본문 화면을 중심으로 구성했다.
  • 단일 정지 화면은 시스템 구성과 실행 맥락의 근거가 될 수 있지만, 동작의 전체 성공률이나 반복 안정성까지 입증하지는 않는다.
  • “엣지 추론이 지연과 네트워크 의존성을 줄인다”와 같은 문장은 일반적인 시스템적 함의를 설명한 것이며, 영상이 정량 비교 결과를 제공했다는 뜻은 아니다.

참고 근거

  1. Learn Robot Manipulation with LeRobot and ROS 2 NVIDIA Developer · 게시일 2026-08-11 · 47분 30초. 본 보고서의 주요 영상·장면 근거.
  2. Make It Think: NVIDIA Jetson AI Lab Livestream Series NVIDIA Developer Forums의 공식 세션 안내.
  3. Robotics AI Developer Kits for Students & Educators NVIDIA Jetson 로보틱스 개발 키트 관련 공식 자료.
  4. AgenticROS — Open Robotics Discourse AgenticROS의 ROS 연결과 에이전트 활용 맥락을 설명하는 커뮤니티 자료.

Closing Note

로봇 지능은 결국 시스템의 품질이다

이 세션에서 가장 흥미로운 지점은 새로운 모델 이름이나 인상적인 데모 동작만이 아니다. 데이터 수집과 학습, 엣지 추론, 센서 좌표계, ROS 인터페이스, 도구 호출과 안전 규칙이 하나의 운영 가능한 구조로 모일 때 비로소 모델의 능력이 물리 세계에서 의미를 갖는다는 사실이다.

다음 실험을 시작한다면 더 큰 모델을 찾기 전에 먼저 한 가지 작업을 고르고, 성공·실패 조건을 정의하고, 관측에서 행동까지의 로그를 연결하는 것이 좋다. 작고 측정 가능한 폐루프가 구축되면 로봇, 센서와 정책을 바꾸더라도 학습 가능한 시스템은 남는다.

원본 세션 보기