구성 가능성이 핵심 경쟁력이다
솔버·접촉·자산·센서를 분리해 문제에 맞는 수치 방법을 선택하고 교체할 수 있도록 설계했다.
강체와 변형체, 접촉과 센서, 자산 보정과 모델 평가를 하나의 GPU 우선 파이프라인으로 연결하려는 오픈소스 물리 엔진의 설계와 함의.
Abstract
Newton은 오픈소스·GPU 우선·Python 우선이라는 세 가지 원칙 아래, 로봇 학습에 필요한 강체 동역학, 변형체, 접촉, 센서, 대규모 병렬 실행을 하나의 구성 가능한 기술 스택으로 묶으려는 프로젝트다.
발표의 주장은 명확하다. 인터넷 규모 데이터에는 접촉력과 마찰, 물체의 변형처럼 로봇 행동에 필요한 물리 정보가 부족하다. 실제 데이터를 무한정 수집할 수도 없다. 따라서 로봇 학습의 확장에는 물리적으로 타당한 합성 데이터와 이를 빠르게 생성할 시뮬레이션 기반이 필요하다.
Newton은 이를 위해 모델·상태·제어·접점·솔버를 분리하고, 강체와 MPM 입자, Cosserat rod, 얇은 쉘, 사면체 탄성체를 서로 다른 솔버로 처리한다. 더 나아가 자산 파라미터 식별, 원격조작 데이터 생성, 병렬 모델 평가까지 연결해 시뮬레이션을 학습과 평가의 폐루프로 확장하려 한다.
솔버·접촉·자산·센서를 분리해 문제에 맞는 수치 방법을 선택하고 교체할 수 있도록 설계했다.
케이블, 호스, 봉투, 토사처럼 실제 산업 작업을 구성하는 자산은 강체만으로 표현되지 않는다.
재료와 액추에이터 파라미터를 실측 응답에 맞추지 않으면 sim-to-real 평가의 신뢰도도 낮아진다.
데이터 생성, 학습, 병렬 평가, 실패 분석과 다음 데이터 결정이 하나의 반복 루프를 이룬다.
01 · The Data Gap
Newton이 출발하는 지점은 물리 엔진 자체가 아니라 로봇 학습 데이터의 구조적 부족이다.
실제 로봇 데이터는 접촉과 힘, 마찰, 실패의 복잡성을 가장 잘 담는다. 그러나 장비와 공간, 안전 관리, 운영 인력이 필요하고 수집 속도도 제한적이다. 반면 인터넷 규모의 이미지와 영상은 풍부하지만, 물체에 얼마만큼의 힘이 가해졌는지 혹은 접촉면에서 어떤 마찰이 발생했는지는 거의 알려주지 않는다.
여기서 합성 데이터는 단순한 시각적 렌더링을 뜻하지 않는다. 로봇이 물체를 밀고, 잡고, 삽입하고, 구부릴 때 발생하는 상태 변화가 물리적으로 일관돼야 한다. 강화학습에서는 이 과정을 수천 개 환경에서 병렬 반복할 수 있어야 하며, 딥러닝 프레임워크와 텐서 데이터를 직접 교환할 수 있어야 한다.
02 · Architecture
Newton은 자산과 시간별 상태, 제어, 접점, 시간 적분기를 명시적으로 분리한다. 이 경계가 솔버 교체와 연구 확장의 기반이다.
Newton simulation flow
축소 좌표는 관절 자유도만으로 로봇을 표현해 일반적인 직렬 메커니즘과 강화학습에 효율적이다. 최대 좌표는 각 링크를 독립 강체로 표현하고 제약으로 연결하기 때문에 폐루프나 복잡한 연결 구조에 유연하다. Newton의 상위 인터페이스는 문제에 따라 이 두 표현과 대응 솔버를 선택할 수 있도록 한다.
로봇 조작에서 접점의 위치와 방향, 깊이, 분포가 불안정하면 아무리 정교한 솔버라도 수렴성과 결과 품질을 확보하기 어렵다. Newton은 해석 형상과 SDF 기반 형상을 처리하는 접촉 파이프라인을 독립 구성 요소로 두고, 생성된 접점을 여러 솔버가 소비할 수 있도록 한다.
Hydroelastic contact는 물체의 겹침 영역에서 접촉 표면을 구성해 힘과 토크의 공간적 분포를 표현한다. 이는 비틀림 마찰, 넓은 면적의 파지, 촉각 센서 판독처럼 점 접촉 근사에 민감한 작업에서 특히 중요하다.
03 · Multiphysics
Newton은 모든 물질을 하나의 표현에 억지로 맞추기보다, 형상과 재료에 맞는 이산화 방식과 솔버를 선택한다.
| 표현 | 발표에 제시된 방법 | 대표 대상 | 로봇 작업의 의미 |
|---|---|---|---|
| 입자 · 0D | MPM, 구성 법칙, 소성·점성 모델 | 눈, 토사, 입상재, 점성 물질 | 굴착·보행·현장 작업의 환경 반응 표현 |
| 막대 · 1D | Cosserat rod | 케이블, 호스, 배선 | 굽힘·비틀림·소성 변형이 있는 조립과 정비 |
| 쉘 · 2D | VBD, 유한요소 쉘, 충돌 감지 | 천, 비닐, 종이봉투 | 포장재·의류·얇은 부품의 파지와 펼침 |
| 사면체 · 3D | VBD, Neo-Hookean 계열 재료 | 스펀지, 탄성 부품 | 압축·복원과 체적 변형을 포함한 조작 |
로봇은 강체지만 로봇이 다루는 대상은 케이블이나 토사일 수 있다. Newton의 coupling framework는 다물체 솔버와 변형체 솔버 사이에서 힘을 양방향 전달해, 각 대상에 적합한 수치 방법을 유지하면서 하나의 작업을 구성하려 한다.
04 · Contact in Practice
발표는 단순 데모보다 조립, 촉각 파지, 호스와 케이블 삽입처럼 접촉 품질에 민감한 작업을 전면에 배치한다.
Hydroelastic contact가 산출하는 압력 분포는 촉각 센서 신호로 직접 해석될 수 있다. 발표에서는 각 손가락의 240×240 taxel 판독값을 모사하고, 카메라 입력 없이 촉각 정보만으로 조작 정책을 학습한 사례를 소개한다.
이 작업들의 공통점은 작은 모델링 오차가 성공과 실패를 가른다는 것이다. 커넥터의 형상, 케이블의 굽힘 강성, 삽입 순간의 접촉과 진동이 실제와 다르면 시뮬레이션 정책의 성공률은 현실 성능을 제대로 예측하지 못한다.
05 · Scale
Newton의 성능 주장은 단순한 초당 스텝 수를 넘어, 같은 GPU에서 실행할 환경 수와 센서 데이터 규모를 늘리는 데 초점이 맞춰져 있다.
newton.SensorTiledCamera는 여러 환경의 카메라 관측을 한꺼번에 처리하는 방식으로 소개된다. 물리 시뮬레이션의 병렬성만 높여도 이미지 생성이 병목이 되면 비전 기반 정책의 학습 규모는 제한된다. 따라서 센서 시뮬레이션의 처리량과 메모리 구조도 물리 엔진의 실질적 성능에 포함된다.
06 · Sim-to-Real Loop
Lightwheel의 발표는 시뮬레이션 정확도를 솔버만의 문제로 보지 않는다. 재료와 로봇의 파라미터를 측정하고, 실제 응답에 맞게 보정하고, 독립 데이터로 검증하는 과정이 필요하다.
Closed-loop model development
케이블처럼 여러 시간 스케일을 가진 자산은 보정이 어렵다. 초기에는 빠르게 진동하고 이후에는 천천히 감쇠한다. 한쪽 응답만 맞추면 다른 구간에서 오차가 커질 수 있다. 발표는 VBD 기반 시뮬레이션과 파라미터 최적화를 통해 두 응답을 함께 근사하는 사례를 제시한다.
이 구조에서 시뮬레이터는 학습 데이터 생성기에 머물지 않는다. 서로 다른 모델을 동일한 조건과 환경 변형에서 실행하고, 실패 유형을 집계하며, 다음 학습 단계에 필요한 데이터를 결정하는 평가 인프라가 된다.
07 · Implications
프로젝트의 잠재력은 크지만, 발표에서 제시된 구조와 수치가 실제 연구·생산 환경의 신뢰성으로 이어지는지는 별도의 검증이 필요하다.
| 검증 질문 | 왜 중요한가 | 필요한 공개 정보 |
|---|---|---|
| 수치 안정성 | 강체·변형체 결합이 긴 학습 롤아웃에서도 발산하지 않아야 한다. | 시간 간격, 반복 횟수, 실패율, 안정화 설정 |
| 결정론 | 병렬 GPU 실행의 편차는 실험 재현과 정책 비교에 영향을 준다. | 동일 시드 반복 결과와 하드웨어별 편차 |
| 정확도 대비 속도 | 더 높은 FPS가 물리 오차 증가와 맞바뀌었는지 확인해야 한다. | 오차 기준을 포함한 속도·메모리 동시 비교 |
| Sim-to-real 유효성 | 시뮬레이션 성공률이 실제 성공률을 얼마나 예측하는지가 핵심이다. | 독립 테스트 세트와 실제 장비 결과 |
| 자산 보정 비용 | 고정밀 자산을 만드는 비용이 확장성을 제한할 수 있다. | 측정 장비, 수집 시간, 최적화 비용과 재사용 범위 |
특히 강체와 변형체의 coupling framework는 발표 시점에 실험적 기능으로 소개됐다. 대규모 강화학습에서의 장기 안정성, GPU 실행의 결정론, 미분 가능성, 복잡 접촉에서의 오차는 과제별로 확인해야 한다.
Final Takeaway
Newton이 제안하는 미래는 하나의 완벽한 솔버가 모든 로봇 문제를 해결하는 세계가 아니다. 서로 다른 물리 표현과 솔버, 접촉 생성기, 자산 스키마, 센서와 평가 도구가 공통 인터페이스 위에서 결합되는 세계다.
이 비전이 성공하려면 빠른 GPU 코드만으로는 부족하다. 실제 응답과 맞는 자산, 재현 가능한 벤치마크, 독립적인 정확도 검증, 실패를 다음 데이터로 전환하는 평가 루프가 함께 성숙해야 한다. Newton의 가장 중요한 기여는 바로 이 전체 문제를 하나의 오픈소스 연구 의제로 드러냈다는 데 있다.
Source Notes