N Physical AI Research NVIDIA Omniverse 발표 보기
Research Report SIGGRAPH 2026 Robot Simulation

Newton은 로봇 시뮬레이션을 어떻게 다시 설계하는가

강체와 변형체, 접촉과 센서, 자산 보정과 모델 평가를 하나의 GPU 우선 파이프라인으로 연결하려는 오픈소스 물리 엔진의 설계와 함의.

분석일 2026.08.18 발표자 Miles Macklin · Louis Lian 영상 40분 41초 읽는 시간 약 18분
NVIDIA, Google DeepMind, Disney Research, Lightwheel, Toyota Research Institute와 Linux Foundation이 표시된 Newton 프로젝트 소개 슬라이드
Opening frame Newton은 NVIDIA를 비롯한 연구·산업 조직이 공동으로 개발하는 오픈소스 로봇 학습용 물리 엔진으로 소개됐다.

Abstract

로봇 학습을 위한 물리 엔진은 무엇이 달라야 하는가

Newton은 오픈소스·GPU 우선·Python 우선이라는 세 가지 원칙 아래, 로봇 학습에 필요한 강체 동역학, 변형체, 접촉, 센서, 대규모 병렬 실행을 하나의 구성 가능한 기술 스택으로 묶으려는 프로젝트다.

발표의 주장은 명확하다. 인터넷 규모 데이터에는 접촉력과 마찰, 물체의 변형처럼 로봇 행동에 필요한 물리 정보가 부족하다. 실제 데이터를 무한정 수집할 수도 없다. 따라서 로봇 학습의 확장에는 물리적으로 타당한 합성 데이터와 이를 빠르게 생성할 시뮬레이션 기반이 필요하다.

Newton은 이를 위해 모델·상태·제어·접점·솔버를 분리하고, 강체와 MPM 입자, Cosserat rod, 얇은 쉘, 사면체 탄성체를 서로 다른 솔버로 처리한다. 더 나아가 자산 파라미터 식별, 원격조작 데이터 생성, 병렬 모델 평가까지 연결해 시뮬레이션을 학습과 평가의 폐루프로 확장하려 한다.

근거 범위 이 글은 발표 슬라이드에서 직접 확인되는 화면 정보, 한국어 자동 자막, 영상 설명을 종합했다. 고유명사는 화면 표기를 우선했으며, 성능 수치는 발표자가 제시한 자체 벤치마크로 구분해 해석했다.
01

구성 가능성이 핵심 경쟁력이다

솔버·접촉·자산·센서를 분리해 문제에 맞는 수치 방법을 선택하고 교체할 수 있도록 설계했다.

02

다물리는 선택이 아닌 전제다

케이블, 호스, 봉투, 토사처럼 실제 산업 작업을 구성하는 자산은 강체만으로 표현되지 않는다.

03

정확한 자산이 정확한 솔버만큼 중요하다

재료와 액추에이터 파라미터를 실측 응답에 맞추지 않으면 sim-to-real 평가의 신뢰도도 낮아진다.

04

시뮬레이션은 평가 시스템으로 확장된다

데이터 생성, 학습, 병렬 평가, 실패 분석과 다음 데이터 결정이 하나의 반복 루프를 이룬다.

01 · The Data Gap

Physical AI에는 ‘물리가 담긴 데이터’가 필요하다

Newton이 출발하는 지점은 물리 엔진 자체가 아니라 로봇 학습 데이터의 구조적 부족이다.

실제 로봇 데이터는 접촉과 힘, 마찰, 실패의 복잡성을 가장 잘 담는다. 그러나 장비와 공간, 안전 관리, 운영 인력이 필요하고 수집 속도도 제한적이다. 반면 인터넷 규모의 이미지와 영상은 풍부하지만, 물체에 얼마만큼의 힘이 가해졌는지 혹은 접촉면에서 어떤 마찰이 발생했는지는 거의 알려주지 않는다.

실제 데이터, 합성 데이터, 인터넷 규모 데이터로 구성된 Physical AI 데이터 피라미드
00:00:49 실제 데이터와 인터넷 규모 데이터 사이를 물리적 합성 데이터가 연결한다.
로봇 메커니즘, 실제 조작, 변형체, 대규모 병렬 환경을 보여주는 슬라이드
00:02:05 로봇 시뮬레이션에는 메커니즘·접촉·변형체·병렬성이 동시에 요구된다.

여기서 합성 데이터는 단순한 시각적 렌더링을 뜻하지 않는다. 로봇이 물체를 밀고, 잡고, 삽입하고, 구부릴 때 발생하는 상태 변화가 물리적으로 일관돼야 한다. 강화학습에서는 이 과정을 수천 개 환경에서 병렬 반복할 수 있어야 하며, 딥러닝 프레임워크와 텐서 데이터를 직접 교환할 수 있어야 한다.

02 · Architecture

엔진보다 먼저, 구성 요소의 경계를 설계하다

Newton은 자산과 시간별 상태, 제어, 접점, 시간 적분기를 명시적으로 분리한다. 이 경계가 솔버 교체와 연구 확장의 기반이다.

pip install newton 명령과 Newton 예제 및 문서 링크가 표시된 슬라이드
00:05:29 Python 패키지 설치와 독립형 예제를 진입점으로 제시한 Newton.
Newton의 Model, State, Control, Contacts, Solver 클래스와 실행 흐름
00:06:16 Assets에서 Model·State·Control을 구성하고 Collision·Contacts를 거쳐 Solver가 상태를 진행한다.

Newton simulation flow

Assets 로봇·환경·재료 정의
Runtime Model·State·Control
Collision 접점 탐색과 생성
Solver 힘 계산과 시간 적분
Learning 센서·정책·평가 피드백

두 좌표계와 플러그형 솔버

축소 좌표는 관절 자유도만으로 로봇을 표현해 일반적인 직렬 메커니즘과 강화학습에 효율적이다. 최대 좌표는 각 링크를 독립 강체로 표현하고 제약으로 연결하기 때문에 폐루프나 복잡한 연결 구조에 유연하다. Newton의 상위 인터페이스는 문제에 따라 이 두 표현과 대응 솔버를 선택할 수 있도록 한다.

Reduced coordinates와 Maximal coordinates 다물체 표현 비교
00:10:31 축소 좌표와 최대 좌표는 서로 다른 로봇 구조와 수치적 요구에 대응한다.
해석 형상과 SDF 형상을 처리하는 충돌 및 접점 생성 파이프라인
00:11:52 접점 생성은 솔버와 분리되어 다른 수치 방법에도 연결될 수 있다.

접점은 솔버의 상류 조건이다

로봇 조작에서 접점의 위치와 방향, 깊이, 분포가 불안정하면 아무리 정교한 솔버라도 수렴성과 결과 품질을 확보하기 어렵다. Newton은 해석 형상과 SDF 기반 형상을 처리하는 접촉 파이프라인을 독립 구성 요소로 두고, 생성된 접점을 여러 솔버가 소비할 수 있도록 한다.

두 물체의 겹침에서 접촉 표면과 압력 분포를 구성하는 Hydroelastic Contact 도식
00:12:56 Hydroelastic contact는 점 하나가 아니라 접촉 면적과 압력 분포를 모델링한다.

Hydroelastic contact는 물체의 겹침 영역에서 접촉 표면을 구성해 힘과 토크의 공간적 분포를 표현한다. 이는 비틀림 마찰, 넓은 면적의 파지, 촉각 센서 판독처럼 점 접촉 근사에 민감한 작업에서 특히 중요하다.

03 · Multiphysics

강체 하나로는 산업 현장을 설명할 수 없다

Newton은 모든 물질을 하나의 표현에 억지로 맞추기보다, 형상과 재료에 맞는 이산화 방식과 솔버를 선택한다.

입자, 막대, 얇은 쉘, 사면체로 구성된 다물리 표현
00:15:42 입자 0D, 막대 1D, 쉘 2D, 사면체 3D 표현을 물질 특성에 맞게 배치한다.
표현 발표에 제시된 방법 대표 대상 로봇 작업의 의미
입자 · 0D MPM, 구성 법칙, 소성·점성 모델 눈, 토사, 입상재, 점성 물질 굴착·보행·현장 작업의 환경 반응 표현
막대 · 1D Cosserat rod 케이블, 호스, 배선 굽힘·비틀림·소성 변형이 있는 조립과 정비
쉘 · 2D VBD, 유한요소 쉘, 충돌 감지 천, 비닐, 종이봉투 포장재·의류·얇은 부품의 파지와 펼침
사면체 · 3D VBD, Neo-Hookean 계열 재료 스펀지, 탄성 부품 압축·복원과 체적 변형을 포함한 조작

입상재와 케이블

눈 위를 걷는 캐릭터와 굴착 및 입상재를 시뮬레이션하는 MPM 예제
00:16:03 MPM은 눈과 토사처럼 큰 변형을 보이는 재료를 입자 기반으로 처리한다.
Cosserat rod의 굽힘과 비틀림 및 케이블 시뮬레이션
00:17:30 Cosserat rod는 케이블의 굽힘·비틀림 강성과 소성 변형을 표현한다.
사람이 케이블을 던져 매듭을 만드는 장면과 Flying Knots 로봇 시뮬레이션 비교
00:18:23 빠른 동적 동작으로 케이블 매듭을 만드는 Flying Knots 재현 사례.

얇은 포장재와 탄성 고체

천을 다루는 로봇과 Thin Shells 솔버 설명
00:19:02 VBD와 유한요소 쉘 모델을 이용한 얇은 물체 시뮬레이션.
로봇이 비닐봉투와 종이봉투를 조작하는 Meituan 협력 사례
00:19:43 얇은 쉘 연구를 실제 물류 포장재 조작으로 연결한 사례.
휴머노이드가 부드러운 물체를 누르는 Elastic Solids 예제
00:20:14 사면체 메쉬와 탄성 재료 모델로 부드러운 고체의 체적 변형을 처리한다.
USD Deformable Schemas 코드와 AOUSD 로고
00:20:53 USD Deformable Schemas는 곡선·쉘·볼륨 자산의 교환 기반을 지향한다.

다른 솔버를 하나의 작업 안에서 결합한다

로봇은 강체지만 로봇이 다루는 대상은 케이블이나 토사일 수 있다. Newton의 coupling framework는 다물체 솔버와 변형체 솔버 사이에서 힘을 양방향 전달해, 각 대상에 적합한 수치 방법을 유지하면서 하나의 작업을 구성하려 한다.

다물체 솔버와 변형체 솔버를 coupler로 연결한 도식과 로봇팔 예제
00:22:02 강체 로봇과 변형체 사이의 힘을 양방향으로 연결하는 실험적 coupling framework.

04 · Contact in Practice

접촉 모델의 가치는 삽입과 파지에서 드러난다

발표는 단순 데모보다 조립, 촉각 파지, 호스와 케이블 삽입처럼 접촉 품질에 민감한 작업을 전면에 배치한다.

로봇의 GB300 트레이 부품 조립 시뮬레이션과 실제 장비 비교
00:13:52 버스바 배치 등 정밀 조립 정책의 sim-to-real 사례.
Sharpa 손의 손가락 접촉 영역과 촉각 분포 및 조작 장면
00:14:31 손가락별 촉각 센서를 모사해 비전 없이 파지 정책을 학습한 사례.

Hydroelastic contact가 산출하는 압력 분포는 촉각 센서 신호로 직접 해석될 수 있다. 발표에서는 각 손가락의 240×240 taxel 판독값을 모사하고, 카메라 입력 없이 촉각 정보만으로 조작 정책을 학습한 사례를 소개한다.

삼성 워터호스 조립 작업의 실제 영상과 Newton 시뮬레이션 비교
00:27:26 강체 로봇과 VBD 호스를 결합한 Waterhose Assembly 비교.
산업용 케이블과 커넥터를 로봇이 삽입하는 시뮬레이션
00:28:06 커넥터는 강체, 케이블은 변형체로 모델링한 산업용 삽입 과제.

이 작업들의 공통점은 작은 모델링 오차가 성공과 실패를 가른다는 것이다. 커넥터의 형상, 케이블의 굽힘 강성, 삽입 순간의 접촉과 진동이 실제와 다르면 시뮬레이션 정책의 성공률은 현실 성능을 제대로 예측하지 못한다.

05 · Scale

GPU 병렬성은 더 많은 환경과 더 많은 관측을 겨냥한다

Newton의 성능 주장은 단순한 초당 스텝 수를 넘어, 같은 GPU에서 실행할 환경 수와 센서 데이터 규모를 늘리는 데 초점이 맞춰져 있다.

Isaac Lab 작업별 유효 FPS 비교와 2배에서 3배 향상 문구
00:23:09 Newton 기반 MuJoCo Warp 솔버의 Isaac Lab 유효 FPS 자체 벤치마크.
2–3× Isaac Lab 환경 스텝 처리량 향상 주장
3–4× 강화학습 환경 메모리 사용량 절감 설명
5–10× tiled camera 메모리 사용량 절감 주장
IMU, Contact, Tiled Camera 센서와 다중 뷰 렌더링 성능 비교
00:24:15 다수 환경의 지각 학습을 겨냥한 tiled camera와 Grouped BVH 기반 센서 처리.

newton.SensorTiledCamera는 여러 환경의 카메라 관측을 한꺼번에 처리하는 방식으로 소개된다. 물리 시뮬레이션의 병렬성만 높여도 이미지 생성이 병목이 되면 비전 기반 정책의 학습 규모는 제한된다. 따라서 센서 시뮬레이션의 처리량과 메모리 구조도 물리 엔진의 실질적 성능에 포함된다.

Benchmark caution 발표 수치는 특정 Isaac Lab 환경, GPU, 비교 구성과 구현 버전을 사용한 자체 결과다. 독립 재현 결과나 모든 로봇 과제에서의 보편적 우위를 의미하지 않는다. 비교 시에는 하드웨어, 시간 간격, 환경 수, 솔버 설정, 정확도 기준과 메모리 측정 방식을 함께 고정해야 한다.

06 · Sim-to-Real Loop

좋은 시뮬레이터만큼 중요한 것은 좋은 자산이다

Lightwheel의 발표는 시뮬레이션 정확도를 솔버만의 문제로 보지 않는다. 재료와 로봇의 파라미터를 측정하고, 실제 응답에 맞게 보정하고, 독립 데이터로 검증하는 과정이 필요하다.

자산 생성부터 모델 학습, 병렬 평가와 피드백으로 이어지는 RoboFinals 파이프라인
00:29:10 자산·로봇 식별, 데이터 생성, 학습, 병렬 평가와 피드백이 순환하는 RoboFinals.

Closed-loop model development

Calibrate 자산·로봇 파라미터 식별
Generate 시연과 합성 관측 생성
Train 정책·기반 모델 학습
Evaluate 환경 변형 병렬 평가
Feedback 실패 기반 다음 데이터 결정

물성 파라미터를 실제 응답에 맞춘다

실제 자산 측정 또는 CAD 입력에서 파라미터 최적화와 검증으로 이어지는 Assets Sim2Real 파이프라인
00:32:05 실측 또는 CAD 자산을 출발점으로 시뮬레이션 파라미터를 최적화한다.
실제 케이블과 시뮬레이션 케이블의 초기 진동 및 감쇠 곡선 비교
00:33:38 빠른 초기 진동과 느린 감쇠를 함께 맞추는 케이블 보정 사례.

케이블처럼 여러 시간 스케일을 가진 자산은 보정이 어렵다. 초기에는 빠르게 진동하고 이후에는 천천히 감쇠한다. 한쪽 응답만 맞추면 다른 구간에서 오차가 커질 수 있다. 발표는 VBD 기반 시뮬레이션과 파라미터 최적화를 통해 두 응답을 함께 근사하는 사례를 제시한다.

실제 로봇과 시뮬레이션 로봇의 액추에이터 선택, 데이터 수집, 시스템 식별과 검증 절차
00:34:02 공개 USD·URDF 모델도 실물과 같다고 가정하지 않고 관절과 액추에이터를 식별한다.

데이터 생성에서 병렬 평가까지

Franka 계열 로봇으로 케이블 조작 시연을 수집하는 시뮬레이션 원격조작 화면
00:35:35 시뮬레이션 원격조작으로 반복 가능한 작업 시연을 생성한다.
PCB 조작 작업을 여러 카메라 시점으로 동시에 렌더링한 화면
00:36:23 같은 물리 상태를 여러 시점에서 렌더링해 비전 학습 데이터를 확장한다.
여러 로봇 정책 실행 화면과 성공률 및 진행 상태를 보여주는 RoboFinals 대시보드
00:36:58 여러 모델과 환경 변형을 병렬 평가하고 결과를 학습팀에 되돌리는 폐루프.

이 구조에서 시뮬레이터는 학습 데이터 생성기에 머물지 않는다. 서로 다른 모델을 동일한 조건과 환경 변형에서 실행하고, 실패 유형을 집계하며, 다음 학습 단계에 필요한 데이터를 결정하는 평가 인프라가 된다.

07 · Implications

Newton을 평가할 때 보아야 할 것

프로젝트의 잠재력은 크지만, 발표에서 제시된 구조와 수치가 실제 연구·생산 환경의 신뢰성으로 이어지는지는 별도의 검증이 필요하다.

  • 강화학습: 환경 수와 메모리 효율 개선은 동일 하드웨어에서 더 많은 병렬 롤아웃과 도메인 랜덤화를 가능하게 할 수 있다.
  • 필드 로봇: 토사·눈·케이블·호스·탄성체를 함께 다루는 기능은 굴착, 정비, 현장 조작용 합성 데이터에 직접 연결된다.
  • 접촉 중심 조작: Hydroelastic contact와 촉각 모델은 비전만으로 판단하기 어려운 삽입, 미끄럼, 파지 안정성 연구에 유용하다.
  • 재현 가능한 수치 연구: Python 우선 API와 플러그형 솔버는 엔진 전체를 다시 작성하지 않고 접촉 모델과 수치 방법을 비교할 기반을 제공한다.
  • 평가 체계: 모델 성능 비교 전에 자산과 로봇의 보정 품질, 실패 조건, 환경 분포가 함께 정의돼야 한다.
검증 질문 왜 중요한가 필요한 공개 정보
수치 안정성 강체·변형체 결합이 긴 학습 롤아웃에서도 발산하지 않아야 한다. 시간 간격, 반복 횟수, 실패율, 안정화 설정
결정론 병렬 GPU 실행의 편차는 실험 재현과 정책 비교에 영향을 준다. 동일 시드 반복 결과와 하드웨어별 편차
정확도 대비 속도 더 높은 FPS가 물리 오차 증가와 맞바뀌었는지 확인해야 한다. 오차 기준을 포함한 속도·메모리 동시 비교
Sim-to-real 유효성 시뮬레이션 성공률이 실제 성공률을 얼마나 예측하는지가 핵심이다. 독립 테스트 세트와 실제 장비 결과
자산 보정 비용 고정밀 자산을 만드는 비용이 확장성을 제한할 수 있다. 측정 장비, 수집 시간, 최적화 비용과 재사용 범위

특히 강체와 변형체의 coupling framework는 발표 시점에 실험적 기능으로 소개됐다. 대규모 강화학습에서의 장기 안정성, GPU 실행의 결정론, 미분 가능성, 복잡 접촉에서의 오차는 과제별로 확인해야 한다.

Newton의 오픈소스 물리 엔진, 플러그형 솔버, 재사용 기술 스택과 생산용 솔버를 정리한 결론 슬라이드
00:38:06 오픈소스, 가속된 연구개발, 재사용 기술 스택과 플러그형 구성 요소로 정리된 Newton의 핵심 메시지.

Final Takeaway

Newton의 진짜 실험은 ‘물리 엔진’보다 더 크다

Newton이 제안하는 미래는 하나의 완벽한 솔버가 모든 로봇 문제를 해결하는 세계가 아니다. 서로 다른 물리 표현과 솔버, 접촉 생성기, 자산 스키마, 센서와 평가 도구가 공통 인터페이스 위에서 결합되는 세계다.

이 비전이 성공하려면 빠른 GPU 코드만으로는 부족하다. 실제 응답과 맞는 자산, 재현 가능한 벤치마크, 독립적인 정확도 검증, 실패를 다음 데이터로 전환하는 평가 루프가 함께 성숙해야 한다. Newton의 가장 중요한 기여는 바로 이 전체 문제를 하나의 오픈소스 연구 의제로 드러냈다는 데 있다.

Source Notes

자료와 해석 기준

  1. 주요 출처: NVIDIA Omniverse, “Newton: Open-Source GPU Physics for Robot Simulation | Physical AI Day at SIGGRAPH 2026,” 게시일 2026년 8월 12일, 길이 40분 41초. 원본 영상 보기.
  2. 발표자: Miles Macklin(NVIDIA), Louis Lian(Lightwheel).
  3. 화면 근거: 이 글의 캡션과 슬라이드 설명은 제공된 영상 캡처에서 직접 확인되는 표기와 도식을 바탕으로 작성했다.
  4. 발표 맥락: 기술의 목적과 사례 해석은 한국어 자동 자막과 영상 설명을 종합했다. 자동 자막의 고유명사 오류는 화면 표기를 우선해 보정했다.
  5. 성능 수치: 2–3배 처리량, 3–4배 RL 메모리 절감, 5–10배 tiled camera 메모리 절감은 발표에서 제시된 자체 결과다. 독립 재현이나 보편적 성능 보장으로 해석해서는 안 된다.
  6. 버전 주의: API, 지원 솔버와 실험 기능의 상태는 릴리스에 따라 달라질 수 있다. 실제 도입 전 공식 저장소와 문서에서 사용 버전을 기준으로 재확인해야 한다.
#Newton #PhysicalAI #로봇시뮬레이션 #GPUPhysics #SimToReal #강화학습 #연구자료