Physical AI Research Brief
Editorial Report · 2026.08.14

Robot Learning · VLA · World Action Model

행동을 넘어 세계를 예측하다

로봇이 다음 행동만 고르는 대신, 그 행동이 만들어 낼 미래 장면까지 예측한다면 무엇이 달라질까? NVIDIA Cosmos Labs 발표 화면을 바탕으로 VLA와 WAM의 구조적 차이, Cosmos 3의 방향, 그리고 실제 배치가 요구하는 평가·지연시간·안전성의 조건을 읽는다.

텍스트, 이미지, 비디오, 오디오, 행동을 연결하는 Cosmos 3 omnimodal 아키텍처 슬라이드
Cosmos 3는 행동을 텍스트·이미지·비디오·오디오와 나란히 놓인 기본 모달리티로 제시한다. 화면 시점 00:44:15.

영상 임베드는 사용하지 않았습니다. 원본 발표는 NVIDIA Developer의 YouTube 페이지에서 확인할 수 있습니다.

원본 영상 보기 ↗

초록

VLA는 시각·언어·로봇 상태를 행동으로 직접 연결하는 정책에 가깝다. WAM은 여기에 미래 관측의 생성을 더해 세계 예측과 행동 생성을 공동 문제로 만든다. 발표 화면에 나타난 NVIDIA Cosmos 3는 이 구분을 한 단계 확장해 행동을 독립적인 입출력 모달리티로 다루고, 추론 모델과 확산 생성기, 공개 모델, RoboLab 평가, Jetson 엣지 배치, 정책 서버까지 하나의 Physical AI 개발 흐름으로 묶는다. 그러나 embodiment 일반화, 행동–상태 드리프트, 물리 오류, 지연시간과 런타임 정지는 모델 점수만으로 해결되지 않는 별도의 시스템 문제로 남는다.

Key findings

이 발표에서 읽어야 할 다섯 가지

01

VLA와 WAM은 같은 입력을 두고 경쟁하는 단순 대안이 아니다.

행동만 출력하는 정책과 미래 관측·행동을 함께 생성하는 모델은 예측 범위와 학습 목표가 다르다.

02

추론과 행동 생성은 서로 다른 시간 척도를 가진다.

VLM 기반 System 2와 diffusion 기반 System 1의 분리는 고수준 판단과 연속 제어를 다른 계층으로 다룬다.

03

Cosmos 3에서 행동은 부가 정보가 아니라 기본 모달리티다.

텍스트·영상·오디오와 행동을 공유 표현에 연결해 세계 이해와 제어를 하나의 생성 체계로 묶는다.

04

공개 체크포인트는 배포 사슬의 출발점일 뿐이다.

RoboLab 평가, sim–real 검증, 정책 서버, 로봇 클라이언트, 엣지 지연시간과 상태 감시가 함께 필요하다.

05

일반화와 안전성은 평균 성공률 밖에서 검증해야 한다.

로봇 몸체 변화, 메모리, 물리 오류, 행동–상태 드리프트와 정지 상태는 별도 운영 지표를 요구한다.

01 · Two paradigms

행동을 고를 것인가, 미래까지 그릴 것인가

VLA와 WAM의 가장 유용한 구분은 모델 이름이 아니라 무엇을 출력하도록 학습했는가에서 시작한다.

VLA는 카메라 관측, 언어 지시, 로봇 상태를 받아 행동을 생성한다. 화면의 GR00T N1 구조에서는 이미지와 언어가 Vision-Language Model 기반의 고수준 추론 계층으로 들어가고, 로봇 상태와 행동 토큰은 Diffusion Transformer의 디노이징을 거쳐 모터 행동이 된다. 이 구조는 느리고 의미적인 판단과 빠르고 연속적인 제어를 각각 System 2와 System 1로 나눈다.

VLA

관측에서 행동으로

시각·언어·상태를 해석해 로봇이 실행할 행동을 직접 생성한다.

Video + Text + State VLM Reasoner Diffusion Action Head Actions
WAM

관측에서 미래 세계로

행동과 그 결과로 나타날 미래 프레임을 함께 생성한다.

Video + Text + State Jointly Post-trained Reasoner Reasoning + Diffusion Future Frames + Actions

WAM의 차별점은 행동을 더 잘 디코딩한다는 데만 있지 않다. 모델은 특정 행동이 수행된 뒤 카메라에 나타날 미래 관측을 행동과 함께 생성한다. 결과적으로 정책 학습은 “무엇을 할 것인가”뿐 아니라 “그 행동 뒤 세계가 어떻게 변할 것인가”라는 예측 문제와 결합된다.

VLA가 행동을 위한 지각 모델이라면, WAM은 행동을 포함한 미래 세계의 생성 모델에 가깝다.

그렇다고 WAM이 언제나 VLA의 상위 호환이라는 결론은 성립하지 않는다. 미래 프레임 생성은 더 풍부한 학습 신호를 제공할 수 있지만 연산량과 지연시간, 데이터 구성의 부담도 키운다. 실시간 조작에서는 미래 영상 자체가 필요하지 않을 수 있고, 하드웨어 제약이 강한 로봇에서는 간결한 행동 정책이 더 현실적인 선택일 수 있다.

Vision-Language Model과 Diffusion Transformer로 나뉜 GR00T N1 E2E VLA 구조
00:14:45GR00T N1의 E2E VLA 구조. System 2 추론과 System 1 행동 생성을 분리한다.
Action Reasoning Vision 세 요소로 구성된 추론형 VLA 슬라이드
00:15:30Action·Reasoning·Vision의 세 축과 trajectory diffusion, RL 후학습, 컨텍스트 인코더가 제시된다.
VLA는 행동을 출력하고 WAM은 미래 프레임과 행동을 함께 출력하는 비교 슬라이드
00:18:30VLA와 WAM의 핵심적인 출력 범위 차이.
VLA와 WAM에서 로봇 상태가 조건화되는 위치를 보여주는 비교 슬라이드
00:22:10로봇 상태는 VLA의 추론·행동 경로를 조건화하고, WAM에서는 비디오·텍스트와 함께 입력 묶음에 포함된다.

화면에 등장한 질문이 드러내는 연구의 경계

답변은 자막 부재로 재구성하지 않았다. 다만 질문 자체는 현장의 판단 기준을 선명하게 보여준다.

00:24:27 VLA와 WAM은 결국 범용 LLM으로 대체될 것인가?
00:27:12 Physical AI 연구자가 갖춰야 할 핵심 역량은 무엇인가?
00:31:15 서로 다른 embodiment와 환경으로 일반화할 때 가장 큰 장벽은 무엇인가?
00:33:37 WAM은 메모리와 로컬 배치 측면에서 실제로 효율적인가?
00:35:05 양팔 로봇 프로젝트라면 VLA와 WAM 중 어디서 시작해야 하는가?
00:38:07 연구 모델을 확장 가능한 엔터프라이즈 시스템으로 어떻게 옮길 것인가?
VLA와 WAM이 LLM으로 대체될 수 있는지를 묻는 시청자 질문
00:24:27LLM이 VLA·WAM을 대체할 가능성에 관한 질문.
Physical AI 분야 진입에 필요한 역량을 묻는 시청자 질문
00:27:12Physical AI 인력에게 필요한 역량에 관한 질문.
다른 로봇 몸체와 환경에 대한 WAM 일반화를 묻는 질문
00:31:15embodiment와 환경 일반화의 과제.
WAM의 RAM 효율과 자율 로봇 로컬 배치를 묻는 질문
00:33:37메모리 사용량과 로컬 배치 가능성.
양팔 로봇 작업에서 VLA와 WAM 중 시작 모델을 묻는 질문
00:35:05양팔 로봇을 위한 실무적 모델 선택 질문.
VLA와 WAM을 연구에서 기업 적용으로 확장하는 문제에 관한 화면
00:38:07연구 결과를 기업용 시스템으로 확장하는 문제.

02 · Omnimodal foundation

Cosmos 3: 행동을 언어와 영상의 옆자리에 놓다

발표 화면에서 Cosmos 3의 가장 중요한 선언은 모델 크기가 아니라 모달리티의 재배치다.

Cosmos3-Edge-Policy-DROID 모델 카드는 텍스트, 이미지, 비디오, 행동 궤적을 입력으로 받는 Physical AI용 모델 계열을 보여준다. 중앙의 공유 표현은 Autoregressive Reasoner와 Diffusion Generator를 연결하며 텍스트·이미지·비디오· 오디오·행동을 입출력 모달리티로 대칭 배치한다. 행동은 시각 모델 뒤에 붙는 전용 헤드의 결과만이 아니라, 다른 모달리티와 변환 가능한 생성 대상이 된다.

하나의 표현, 두 개의 생성 방식

화면상 구조는 순차적 토큰 예측에 적합한 autoregressive reasoner와 연속적이고 고차원적인 신호 생성에 적합한 diffusion generator를 함께 둔다. 이 조합은 언어적 추론과 영상·행동 생성을 하나의 공유 공간에서 연결하려는 설계로 읽을 수 있다. 모델 카드에는 Transformer, Mixture-of-Transformers(MoT), Cosmos Framework가 핵심 구성으로 표시된다.

영상 화면에 표시된 Cosmos3-Edge-Policy-DROID 입력 범위
모달리티 화면상 제한 연구·배치 관점의 의미
텍스트 최대 4,096 토큰 긴 작업 지시와 문맥을 받을 수 있으나 실제 제어 주기와는 별도 설계가 필요하다.
이미지·비디오 256p / 480p 고해상도 인식보다 멀티모달 추론과 처리 효율에 무게를 둔 입력 범위다.
비디오 최대 5프레임 긴 시간 기억을 입력 프레임만으로 해결하지 않음을 시사한다.
행동 구간 16–400 비디오 프레임 행동 궤적을 시간축 생성 대상으로 취급한다.
로봇 표현 DROID 8차원 범용 모델이라는 표현과 별개로 실제 행동 인터페이스는 특정 embodiment에 묶여 있다.

바로 이 마지막 제한이 중요하다. 멀티모달 공유 표현이 광범위하더라도, 실제 로봇에 연결되는 행동 벡터는 플랫폼의 관절·그리퍼·카메라 자세 정의에 의존한다. 세계에 대한 표현의 일반성과 로봇 몸체에 대한 제어 인터페이스의 일반성은 같은 문제가 아니다.

Hugging Face에 공개된 Cosmos3-Edge-Policy-DROID 모델 카드 화면
00:42:45Cosmos3-Edge-Policy-DROID 모델 카드. 텍스트·이미지·비디오·행동 조합을 다루는 omnimodal world model 계열로 소개된다.
텍스트 이미지 비디오 행동 궤적 입력 형식을 설명하는 모델 카드
00:43:30텍스트 문자열, 이미지, MP4, JSON 행동 리스트로 구성된 입력 형식.
Transformer Mixture-of-Transformers Cosmos Framework가 표시된 아키텍처 설명
00:45:03Transformer, Mixture-of-Transformers와 Edge·Nano·Super 모델 계열.
텍스트 이미지 비디오 행동 입력의 크기와 길이 제한을 표시한 모델 카드
00:45:45입력 크기·길이와 DROID 8차원 행동 표현 제한.

03 · Evaluation

평균 점수 하나로는 로봇의 실패를 설명할 수 없다

Cosmos 3의 평가 화면은 정책 순위뿐 아니라 난이도, 지시의 구체성, 능력 축과 sim–real 관계를 분리해 보여준다.

정책별 벤치마크는 전체 성공률과 함께 단순·중간·복잡 작업, vague·default·specific 지시 조건을 나눈다. 이어지는 화면은 Relational, Visual, Procedural 역량을 별도로 표시한다. 이는 낮은 점수가 관계 추론의 실패인지, 물체를 잘못 본 것인지, 절차를 끝까지 수행하지 못한 것인지 구분하려는 평가 설계다.

화면에 제시된 Spearman 0.94의 의미

RoboLab 벤치마크 순위와 실제 로봇 실험 사이의 산점도에는 Spearman 상관계수 0.94가 표시된다. 화면 자료가 주장하는 범위에서 이는 시뮬레이션 평가의 정책 순위가 실물 로봇의 순위와 강하게 연결될 가능성을 보여준다. 다만 상관계수 하나만으로 개별 작업의 성공률, 새로운 환경에서의 강건성, 안전한 실패를 보장할 수는 없다.

좋은 시뮬레이터는 실물을 없애는 도구가 아니라, 실물 검증의 우선순위를 정하는 도구다.

평가표를 읽을 때 확인할 것

  • 전체 평균과 함께 작업 난이도별 성능이 유지되는가.
  • 모호한 지시와 구체적인 지시 사이의 격차가 얼마나 큰가.
  • 관계·시각·절차 중 어느 능력이 병목인가.
  • 시뮬레이션 순위가 실물 순위와 연결되는가.
  • 성공률 집계가 정지·통신 실패 같은 운영 장애를 포함하는가.
Cosmos 3 정책과 VLA WAM 기준 모델의 난이도별 성공률 비교표
00:46:30정책, 난이도, 지시 구체성별로 분해한 벤치마크.
RoboLab 벤치마크와 실제 로봇 성능의 Spearman 0.94 상관 산점도
00:46:35sim–real 순위 상관관계. 화면에 Spearman 0.94가 명시된다.
Relational Visual Procedural 역량별 평가표와 sim-real 산점도
00:46:36관계·시각·절차 역량으로 분리한 실패 분석.
WAM과 VLA 정책의 성공률과 난이도별 결과를 보여주는 RoboLab-120 페이지
00:47:15RoboLab-120 전체 결과 화면. 정책 유형과 평가 수, 성공률, 점수를 함께 제시한다.

04 · From checkpoint to robot

체크포인트에서 실제 로봇까지, 끊기면 안 되는 배포 사슬

모델 공개는 완성품의 배포가 아니라 평가와 운영을 시작할 수 있는 인터페이스의 공개에 가깝다.

Quickstart 화면은 Cosmos3-Edge-Policy-DROID를 정책 서버로 실행하고, 시뮬레이션 또는 실제 로봇의 RoboLab 클라이언트가 행동을 스트리밍받는 구성을 보여준다. 서버와 로봇을 분리하면 모델 서빙과 로봇 제어를 독립적으로 교체할 수 있지만 네트워크 지연, 연결 상태와 타임아웃이 새로운 실패 지점으로 들어온다.

모델 체크포인트와 행동 표현 확인
컨테이너 기반 정책 서버 실행
RoboLab 시뮬레이션 병렬 평가
엣지 하드웨어 지연시간 검증
실물 로봇 상태 감시와 실패 대응

“실시간”은 모델 이름이 아니라 하드웨어 구성의 결과다

Jetson AGX Thor 표는 5Hz 기준 T5000·T4000·T3000 구성을 실시간으로 표시하지만, T2000 16GB 구성은 실시간 기준을 충족하지 못하는 것으로 제시한다. 화면의 E2E 지연은 각각 약 2.59초, 3.24초, 4.05초, 7.63초다. 이 수치는 처리량의 단일 평균이 아니라 행동 묶음과 제어 주기를 포함한 해당 평가 구성의 표시값으로 읽어야 한다.

영상 화면에 표시된 Jetson AGX Thor 구성별 정책 추론 결과
구성 E2E 지연 5Hz 실시간 표시
T5000 약 2.59초 Yes
T4000 약 3.24초 Yes
T3000 약 4.05초 Yes
T2000 16GB 약 7.63초 No

평가 서비스의 경계가 명확해야 한다

화면의 실행 예시는 포트 8000의 정책 서버와 별도의 RoboLab 클라이언트를 두고, BananaInBowlTask를 여러 headless 환경에서 병렬 실행한다. 모델, 서버, 시뮬레이터, 로봇 제어기를 분리하면 각 단계의 재현성과 장애 위치를 확인하기 쉬워진다. 반면 실물 로봇에서는 카메라 동기화와 행동 전송, 비상 정지까지 동일한 관측 체계 안에 포함해야 한다.

Jetson AGX Thor 구성별 정책 추론 지연과 실시간 여부 비교표
00:48:00Jetson AGX Thor 구성별 5Hz 실시간성 및 E2E 지연 비교.
정책 서버가 RoboLab 시뮬레이션 또는 실제 로봇 클라이언트로 행동을 스트리밍하는 Quickstart
00:48:45정책 서버와 RoboLab 클라이언트로 분리된 Quickstart 구조.
Cosmos3-Edge-Policy-DROID 체크포인트와 포트 8000을 지정하는 서버 실행 절차
00:49:30체크포인트와 포트를 지정한 정책 서버 및 클라이언트 실행 흐름.
BananaInBowlTask를 여러 headless 환경에서 병렬 평가하는 명령과 시뮬레이션
00:50:15BananaInBowlTask를 10개 환경에서 병렬 평가하는 예시.

05 · Safety & failure

성공 장면보다 정지 화면이 더 많은 것을 말해준다

생성 품질의 한계와 운영 실패는 서로 다른 계층의 문제이며, 둘 다 실제 로봇에서는 안전 문제로 수렴한다.

모델 카드 화면에는 시간적 불일치, 불안정한 카메라·물체 움직임, 부정확한 물리 상호작용, 오디오·비디오 비동기, 행동–상태 드리프트가 열거된다. 객체 상태, 인과관계, 공간 기하, 시간 순서, 행위자의 의도와 미래 결과에 대한 추론 오류도 가능하다고 명시한다.

지각·생성 불일치

카메라 관측과 생성된 미래가 시간적으로 어긋나면 정책은 이미 지나간 세계에 반응할 수 있다.

물리 상호작용 오류

시각적으로 그럴듯한 미래가 실제 접촉, 마찰, 충돌의 결과와 일치한다는 보장은 없다.

행동–상태 드리프트

모델이 가정한 로봇 상태와 실제 관절·그리퍼 상태가 벌어지면 오차가 연속 행동에 누적된다.

서비스·통신 장애

정책 서버와 로봇 클라이언트의 분리는 지연, 연결 단절, 정지 상태를 감시할 운영 계층을 요구한다.

실제 데모 화면은 이 점을 구체화한다. 세 카메라 뷰 위에 EDGE-I4 STALLED가 표시된 뒤 상태가 LIVE로 바뀌고 바나나 이동이 이어진다. 화면만으로 정지의 원인이나 복구 절차는 확인할 수 없지만, 최소한 실제 시스템에는 성공률과 별개로 서비스 상태를 관측해야 할 필요가 있음을 보여준다.

로봇 안전은 더 좋은 행동을 생성하는 문제이면서, 잘못된 행동을 실행 전에 멈추는 시스템 문제다.

화면의 시청자 의견도 예상 밖 행동을 지속적으로 감지하고 방지해야 한다는 점을 강조한다. 실제 배치에서는 모델 신뢰도, 센서 이상, 행동 한계, 네트워크 상태와 비상 정지를 독립적인 보호 계층으로 두어야 한다. 생성 모델의 자기평가만으로 안전 경계를 대체해서는 안 된다.

로봇 AI의 안전성과 예상 밖 행동에 대한 지속 모니터링을 강조하는 시청자 의견
00:29:14안전성과 지속 모니터링에 관한 시청자 의견.
시간 불일치 물리 오류 행동 상태 드리프트 등 모델 한계 목록
00:50:36모델 카드에 표시된 생성·추론·동기화의 제한사항.
세 카메라 로봇 데모 화면에 EDGE-I4 STALLED 상태가 표시된 모습
00:51:45실물 로봇 데모의 STALLED 상태. 원인과 복구 방식은 화면만으로 확인할 수 없다.
상태가 LIVE로 전환되고 로봇이 바나나를 트레이로 이동한 다중 카메라 화면
00:52:30LIVE 상태에서 확인된 바나나 이동 장면.
바나나와 큐브가 있는 다중 물체 로봇 조작 데모
00:53:15큐브와 바나나가 함께 놓인 다중 물체 조작 상태.

06 · Implications

Physical AI 개발팀이 가져가야 할 설계 원칙

발표 화면에서 가장 설득력 있는 메시지는 단일 모델의 우월성이 아니라 모델·평가·하드웨어·운영의 연결이다.

Ⅰ

VLA와 WAM을 목적에 맞게 조합한다

실시간 행동 정책과 미래 예측 모델을 하나의 거대 모델로만 해결하기보다, 작업과 하드웨어에 따라 계층화하는 편이 현실적일 수 있다.

Ⅱ

embodiment 어댑터를 독립 경계로 둔다

공유 표현과 로봇별 행동 벡터를 분리하면 새로운 몸체로 이전할 때 재학습·보정해야 할 범위를 명확히 할 수 있다.

Ⅲ

평가를 실패 유형별로 분해한다

성공률뿐 아니라 관계 추론, 시각 인식, 절차 수행, 지연, 정지와 복구 시간을 별도 지표로 추적해야 한다.

Ⅳ

런타임 안전을 모델 밖에 설계한다

행동 한계, 센서 검증, 통신 감시와 비상 정지는 생성 정책과 독립적으로 동작하는 보호 계층이어야 한다.

연구 보고서로서의 한계

이 글은 영상 속 자료를 화면 근거로 기록한 분석이며, 원 논문·코드·실험 환경을 독립적으로 재현한 결과가 아니다. Spearman 0.94와 Jetson 지연시간을 포함한 수치는 화면에 표시된 값을 옮긴 것이다. 표본 구성, 측정 방식과 통계적 불확실성은 이 자료만으로 검증할 수 없다.

또한 해상도, 프레임 수, DROID 행동 차원과 같은 제한은 영상 시점에 표시된 Cosmos 3 변형의 사양이다. 다른 변형이나 후속 버전에 그대로 적용된다고 가정해서는 안 된다. 특히 구두 발표와 질의응답은 자막이 없어 분석 대상에서 제외했다.

NVIDIA 연구자 여섯 명이 참여한 Cosmos Labs 패널 화면
00:02:00NVIDIA 연구자 6명이 참여한 시작 패널.
Cosmos 3 Technical Report Model Cards GitHub Code Product Website 링크가 있는 Cosmos Lab 페이지
00:55:30기술 보고서, 모델 카드, GitHub 코드와 제품 페이지를 연결하는 Cosmos Lab 공개 리소스.
발표를 마무리하는 NVIDIA 연구자 패널 화면
01:00:19세션 마무리 패널. 마지막 구두 발언은 자막 부재로 요약하지 않았다.

Closing thought

다음 세대 로봇 모델의 경쟁력은 더 많은 행동을 생성하는 데 있지 않다. 행동 뒤의 세계를 예측하고, 틀렸을 때 안전하게 멈추는 능력에 있다.

출처 및 방법 노트

  1. 주 출처: NVIDIA Developer, “WAMs and VLAs for Robot Learning | Cosmos Labs,” YouTube, 영상 ID LagVL0KyGgo, 원본 링크.
  2. 게시일, 영상 길이, 모델명과 수치 정보는 제공된 영상 정보 및 캡처 화면을 기준으로 기록했다.
  3. 음성 자막이 없어 발표자의 구두 논증과 질의응답 답변은 근거에서 제외했다. 질문 문구는 화면에서 확인되는 범위만 요약했다.
  4. 벤치마크 결과와 하드웨어 지연시간은 영상 속 표의 기록이며, 독립 재현이나 외부 교차검증 결과가 아니다.
  5. 모든 그림은 해당 영상의 로컬 캡처 자산이며, 캡션의 타임코드는 화면 시점을 나타낸다.