학습은 반복 가능한 루프다
로봇 설정, 시범 수집, 데이터셋 구성, 학습, 실제 평가가 한 번의 직선 과정이 아니라 반복 루프를 이룬다.
NVIDIA Jetson AI Lab 세션 분석
LeRobot과 Isaac GR00T N1.7의 데이터·정책 워크플로부터 Jetson Thor의 엣지 추론, ROS 2와 AgenticROS가 만드는 인지·행동 폐루프까지—Physical AI를 실제 로봇으로 옮기는 전체 파이프라인을 장면 근거와 함께 해부한다.
Abstract
이 세션은 로봇 파운데이션 모델을 소개하는 데서 멈추지 않는다. 시뮬레이션과 텔레오퍼레이션으로 데이터를 수집하고, LeRobot에서 데이터셋과 정책 실험을 관리하며, Isaac GR00T N1.7을 특정 작업에 맞게 파인튜닝한 뒤 Jetson Thor와 실제 로봇에서 실행하는 종단간 흐름을 보여준다.
후반부 AgenticROS 데모는 여기에 자연어 에이전트 계층을 더한다. RealSense가 환경을 관측하고, 에이전트가 목표를 도구 호출로 분해하며, ROS 2가 센서·제어 노드와 실제 이동 로봇을 연결한다. 두 데모가 함께 드러내는 결론은 명확하다. Physical AI의 성패는 단일 모델의 점수보다 데이터, embodiment, 제어 계약, 안전, 지연, 관찰성을 얼마나 일관된 시스템으로 묶는가에 달려 있다.
Key Findings
세션은 서로 다른 두 데모를 통해 같은 메시지를 반복한다. 로봇 지능은 모델 파일 하나가 아니라 관측에서 행동까지 이어지는 운영 가능한 시스템이다.
로봇 설정, 시범 수집, 데이터셋 구성, 학습, 실제 평가가 한 번의 직선 과정이 아니라 반복 루프를 이룬다.
LeRobot은 데이터·실험 워크플로를 제공하고, GR00T N1.7은 시각과 언어에서 행동을 생성하는 VLA 정책 계층을 맡는다.
엣지 실행은 제어 지연과 네트워크 의존성을 줄이고, 센서와 정책 런타임을 실제 장비에 가깝게 배치한다.
모델 출력, 카메라 관측, 로봇 명령을 노드·토픽·서비스·액션의 명시적 인터페이스로 연결한다.
자연어 임무는 센서 읽기, 이동, 정지, 조건 판단 같은 제한된 스킬과 추적 가능한 도구 호출로 변환된다.
속도·작업 공간 제한, 비상 정지, 좌표계, 실행 로그와 실패 추적이 모델 정확도만큼 중요한 시스템 요건이다.
Physical AI의 병목은 ‘더 큰 모델’ 하나가 아니라, 데이터에서 관절 명령까지 이어지는 모든 경계를 신뢰할 수 있게 만드는 일이다.
세션의 두 데모를 관통하는 시스템 관점의 결론
System View
화면에서 확인되는 요소를 기능별로 분리하면 각 기술의 역할과 교체 가능한 경계가 선명해진다. 이 구분은 특정 제품 목록보다 실제 구현에 더 유용하다.
| 계층 | 화면에서 확인된 요소 | 시스템 역할 | 핵심 운영 질문 |
|---|---|---|---|
| 로봇 하드웨어 | SO-101, LeKiwi, 소형 이동 로봇 | 관절·그리퍼·바퀴를 통한 행동 실행 | 행동 공간과 안전 한계가 명시됐는가? |
| 센서 | RGB 카메라, RealSense 계열 깊이 장치 | 환경과 로봇 상태의 관측 제공 | 시야, 깊이 정렬, 좌표계가 안정적인가? |
| 데이터 | 텔레오퍼레이션, 시뮬레이션, 작업 모자이크 | 관측·상태·행동·지시의 시간 정렬 | 배포 조건과 데이터 분포가 일치하는가? |
| 정책 | ACT 구조, Isaac GR00T N1.7 VLA | 시각·언어 조건에서 연속 행동 예측 | 지연과 제어 안정성의 균형은 어떤가? |
| 워크플로 | LeRobot 0.6.1 | 수집, 학습, 평가, 배포의 재현 가능한 연결 | 실험 설정과 데이터 버전이 추적되는가? |
| 엣지 컴퓨팅 | NVIDIA Jetson Thor | 로봇 가까이에서 정책과 런타임 실행 | 최악 조건의 추론 지연을 감당하는가? |
| 미들웨어 | ROS 2 | 센서·모델·제어를 노드와 인터페이스로 연결 | 시간 제한과 실패 상태가 계약에 포함됐는가? |
| 에이전트 | AgenticROS UI, 스킬, 도구 실행 로그 | 자연어 목표를 제한된 로봇 도구 호출로 변환 | 권한, 중지 규칙, 감사 로그가 있는가? |
자연어 목표가 실행 가능한 행동이 되고, 관측이 다시 판단으로 돌아오는 폐루프
피드백 경로: 카메라·상태·실행 결과 → ROS 2 → 에이전트의 다음 판단
Evidence I
전반부는 데이터가 만들어지고 실제 행동으로 되돌아가는 과정을 순서대로 보여준다. 여기서 LeRobot의 가치는 특정 알고리즘 하나보다 전체 실험 흐름을 재현 가능한 도구 체계로 묶는 데 있다.
End-to-End Physical AI Loop
실패 사례와 새 조건을 다시 수집하는 반복 루프
실제 장비만으로 데이터를 모으면 충돌 위험, 하드웨어 마모, 작업자 시간과 환경 재설정 비용이 빠르게 커진다. 시뮬레이션은 작업 조건과 궤적을 반복 생성해 초기 데이터 구축의 안전성과 재현성을 높인다. 다만 최종 성능은 실제 환경의 조명, 마찰, 카메라 시점과 제어 지연을 얼마나 반영하는지에 달려 있다.
범용 사전학습 정책을 특정 로봇과 작업에 맞추려면 수집 데이터만 투입해서는 부족하다. 학습 곡선으로 최적화 상태를 확인하고, 실제 장비에서 실패 유형을 분류한 뒤, 부족한 조건을 다시 데이터에 반영해야 한다. 화면은 이 세 요소가 하나의 실험 단위로 다뤄져야 함을 보여준다.
텔레오퍼레이션 시범은 관측과 행동이 시간 정렬된 데이터가 된다. 하지만 같은 배경, 같은 물체 배치, 같은 카메라 각도만 반복하면 정책은 좁은 조건에 과적합되기 쉽다. 물체, 배경, 시점, 조작 방식과 실패 회복 상황을 설계적으로 포함해야 실제 배포에서 일반화를 기대할 수 있다.
ACT 계열 구조는 연속 행동을 묶어 예측하는 action chunking으로 제어의 시간 구조를 다룬다. 이는 단일 프레임마다 명령을 새로 생성하는 방식과 달리 추론 지연, 동작의 부드러움, 오류가 지속되는 시간 사이의 균형을 요구한다. 정책 구조를 선택할 때는 벤치마크 점수뿐 아니라 로봇의 제어 주기와 최악 조건의 지연을 함께 측정해야 한다.
Evidence II
후반부는 학습 정책 자체보다 로봇을 운영하는 에이전트 계층에 초점을 맞춘다. 에이전트는 목표를 해석하고, AgenticROS는 이를 로봇 도구로 연결하며, ROS 2와 RealSense는 각각 제어 인터페이스와 환경 관측을 제공한다.
카메라 스트림을 에이전트에 노출하는 것만으로 안정적인 인지가 완성되지는 않는다. 카메라의 장착 위치와 시야, RGB·깊이 정렬, 로봇 기준 좌표계와의 변환이 일관돼야 “앞에 있는 물체”라는 언어 표현이 실제 이동과 조작 명령으로 이어질 수 있다. 전원, 배선, 고정과 열 관리 역시 같은 시스템 문제다.
로봇 에이전트의 신뢰성은 최종 응답 문장보다 어떤 도구를 선택했고, 어떤 인자를 전달했으며, 무엇을 관측하고 반환받았는지 추적할 수 있는가에 달려 있다. 터미널 로그, 카메라 피드, 제어 인터페이스와 대화 기록은 서로 다른 장식이 아니라 같은 실행을 관찰하는 복수의 창이다.
“주변을 살펴봐”, “큐브를 집어”, “나를 따라와” 같은 자연어 목표는 그대로 모터에 전달되지 않는다. 센서 읽기, 대상 선택, 이동 명령, 반복 조건과 중지 규칙으로 분해되어야 한다. 검증된 절차를 스킬로 패키징하면 에이전트는 낮은 수준의 제어를 매번 새로 생성하지 않고 안전 범위 안에서 임무를 조합할 수 있다.
Session Map
영상은 전반부의 로봇 학습 파이프라인과 후반부의 에이전트 운영 데모로 나뉜다. 중간 패널을 경계로 “정책을 어떻게 학습하는가”에서 “학습된 지능과 도구를 어떻게 실제 로봇에 연결하는가”로 질문이 이동한다.
안전, Jetson Thor·SO-101 통합, GR00T N1.7 VLA, 시뮬레이션 데이터 수집과 파인튜닝.
지원 로봇, 텔레오퍼레이션, 데이터셋, ACT 계열 모델, 설치와 실제 작업대 데모.
질의응답을 거쳐 학습 중심의 전반부에서 오픈소스 에이전트 데모로 이동.
이동 로봇 하드웨어, 센서 피드, 에이전트 해석, 도구 호출, 재사용 스킬과 자연어 임무 실행.
Implications
관측, 로봇 상태, 행동, 언어 지시와 시간 정보의 형식이 명확해야 정책이나 로봇을 교체해도 전체 파이프라인이 유지된다.
관절 범위, 그리퍼 방향, 센서 좌표계와 제어 주기는 모델 입력·출력의 의미를 결정한다. 잘못된 정의는 데이터 전체를 오염시킨다.
엣지 추론의 목적은 단순한 오프라인 처리 속도가 아니다. 제어 주기 안에서 예측 가능하게 응답하고 안전 정지가 항상 우선돼야 한다.
자연어 목표는 권한이 제한된 스킬로 변환하고, 속도·공간·시간 제한과 승인·중지 규칙을 실행 계층에서 강제해야 한다.
센서 프���임, 선택된 도구, 인자, ROS 상태, 정책 출력과 실제 결과를 같은 실행 식별자로 묶어야 재현과 개선이 가능하다.
자연어 인터페이스는 안전 제약을 대체하지 않는다. 좋은 에이전트는 무엇이든 할 수 있는 에이전트가 아니라, 허용된 행동을 투명하게 조합하는 에이전트다.
AgenticROS 데모가 보여주는 운영 원칙
Sources & Limitations
Closing Note
이 세션에서 가장 흥미로운 지점은 새로운 모델 이름이나 인상적인 데모 동작만이 아니다. 데이터 수집과 학습, 엣지 추론, 센서 좌표계, ROS 인터페이스, 도구 호출과 안전 규칙이 하나의 운영 가능한 구조로 모일 때 비로소 모델의 능력이 물리 세계에서 의미를 갖는다는 사실이다.
다음 실험을 시작한다면 더 큰 모델을 찾기 전에 먼저 한 가지 작업을 고르고, 성공·실패 조건을 정의하고, 관측에서 행동까지의 로그를 연결하는 것이 좋다. 작고 측정 가능한 폐루프가 구축되면 로봇, 센서와 정책을 바꾸더라도 학습 가능한 시스템은 남는다.
원본 세션 보기