Research Report · 영상 심층 분석

세상에서 가장 똑똑한 로봇 두뇌의 내부
— VLA와 π₀ 완전 해부

Inside the World's Smartest Robot Brain [VLA] · Welch Labs

콜라 캔을 테일러 스위프트 사진 위에 어색하게 올려놓은 데모는 초라해 보였다. 그러나 그 순간, 인터넷 규모의 지식이 처음으로 로봇의 관절을 움직였다. 구글의 SayCan·RT-1·PaLM-E를 거쳐 RT-2에서 탄생한 Vision-Language-Action(VLA) 패러다임과, 이를 이어받은 Physical Intelligence의 π₀(Pi Zero) 아키텍처를 어텐션 행렬 수준까지 따라 내려간다.

채널 Welch Labs 게시 2026-04-04 길이 35:02 정리 2026-08-18
#AI #로봇 #VLA #연구자료 #YouTube
구글 RT-2 데모 — 로봇 팔이 콜라 캔을 옮기고, 오른쪽 도식에 TPU 오프보드 추론 구조가 표시된 장면 YouTube에서 원본 영상 보기
Welch Labs · Inside the World's Smartest Robot Brain [VLA] · 35:02
01

초록

이 리포트는 Welch Labs의 35분짜리 영상을 화면 프레임 단위로 검증하며 정리한 연구 노트다. 영상의 결론을 한 문장으로 압축하면 이렇다. 사전학습된 멀티모달 LLM(PaliGemma)과 플로우 매칭 기반 Action Expert를 어텐션의 키·값(KV) 캐시로 직접 결합함으로써, 인터넷 규모의 지식이 로봇 관절 궤적 생성에 바로 연결되었다.

이야기는 두 막으로 진행된다. 1막은 구글이 2022~2023년 사이에 밟은 네 단계 — SayCan, RT-1, PaLM-E, RT-2 — 이며, 계획층과 제어층이라는 두 개의 분리된 모델이 하나의 Vision-Language-Action 모델로 융합되는 과정이다. 2막은 RT-2 핵심 인력이 구글을 떠나 세운 Physical Intelligence의 π₀로, 3.3B 파라미터라는 더 작은 모델이 세탁물 개기 같은 더 정교한 작업을 단일 GPU 위에서 73ms 만에 추론해내는 구조를 어텐션 행렬 수준에서 해부한다.

02

핵심 발견 여섯 가지

바쁜 독자를 위한 요약. 각 항목의 근거는 본문 해당 장에 있다.

TAKEAWAY 1

RT-2의 의미는 성능이 아니라 일반화 경로였다

콜라 캔 데모 자체는 초라했지만, 로봇 제어 학습 데이터에 존재하지 않았던 개념(테일러 스위프트)을 인터넷 사전학습에서 끌어와 행동으로 연결했다. RT-2 팀은 이 유형에 Vision-Language-Action(VLA)이라는 이름을 붙였다.

TAKEAWAY 2

구글은 네 단계로 진화했다

SayCan(2022.4)은 LLM 플래너 + 사전학습 스킬, RT-1(2022.12)은 13만+ 시연으로 제어층 강화, PaLM-E(2023.3)는 플래너에 시각 부여, RT-2(2023.7)는 두 층을 하나의 모델로 통합했다.

TAKEAWAY 3

핵심 인력은 구글을 떠났다

2023년 데모 이후 1년 안에 Karol Hausman 등 RT-2 핵심 인력이 Physical Intelligence를 창업했고, 2024년 10월 π₀를 공개했다.

TAKEAWAY 4

더 작은 모델이 더 잘한다

π₀는 3.3B 파라미터로 RT-2(5–55B)보다 작지만 세탁물 개기, 오렌지 껍질 벗기기, 처음 보는 주방 정리까지 수행한다. RTX 4090 한 장에서 73ms 온보드 추론이 가능하다.

TAKEAWAY 5

결정적 차이는 인터페이스다

SayCan은 모델 간 통신이 자연어였다. π₀는 어텐션 헤드의 키·값 행렬을 직접 넘긴다. 같은 아키텍처를 공유하기에 가능한 설계로, 두 모델이 "거의 하나처럼" 사고하면서도 모듈성을 유지한다.

TAKEAWAY 6

아직은 데모다

1995년 카네기멜런의 RALPH가 미 대륙을 98.2% 자율주행했지만 상용화는 한참 뒤였고, 오늘날의 자율주행은 전혀 다른 방식으로 작동한다. 영상은 같은 경계를 VLA에도 적용한다.

03

계보 — 구글의 4단계 진화

2022년 4월부터 2023년 7월까지, 15개월 만에 완성된 융합의 기록

2022.04
SayCan
PaLM 540B가 계획을 세우고, 사전학습 스킬(BC-Z)이 실행. 계획층과 제어층이 완전히 분리.
2022.12
RT-1
13만+ 시연으로 학습한 트랜스포머가 제어층을 교체. 행동 메뉴가 크게 확장.
2023.03
PaLM-E
플래너가 비전+언어 멀티모달 모델로. 상황 변화를 보고 계획을 다시 세운다.
2023.07
RT-2
두 층이 하나의 모델로 융합. Vision-Language-Action(VLA)이라는 이름이 탄생.
00:00:30

RT-2의 콜라 캔 데모와 오프보드 TPU 추론

RT-2 데모 — 로봇 팔이 콜라 캔을 옮기고 TPU 클러스터와 이미지·제어 신호를 주고받는 도식

"Move coke can to Taylor Swift" 지시를 수행하는 구글 RT-2 데모(화면 표기 2배속). 화면 오른쪽 도식은 로봇이 온보드 카메라 이미지를 TPU 클러스터로 보내고(IMAGES) 제어 신호를 돌려받는(CONTROL) 구조를 보여준다. 모델이 너무 커서 로봇에서 직접 구동할 수 없었다는 전사 내용과 일치한다.

00:01:56

SayCan — LLM을 플래너로 쓴 첫 결과

SayCan 도식 — PaLM 540B가 음료를 흘렸다는 요청을 4개 하위작업으로 분해하는 장면

2022년 4월 SayCan. 입력 "I spilled my drink, can you help?"를 PaLM 540B LLM이 4개 하위작업(스펀지 찾기 → 집기 → 흘린 곳으로 이동 → 내려놓기)으로 분해하고, 하단의 사전학습 스킬(BC-Z)이 실제 제어 신호를 출력한다. 계획층과 제어층이 완전히 분리된 구조다.

00:03:10

RT-1으로 제어층 교체

타임라인에 RT-1이 추가된 도식 — 상단은 그대로 PaLM, 하단 제어층만 BC-Z에서 RT-1으로 교체

같은 타임라인에 2022년 12월 RT-1이 추가된다. 상단 LLM은 그대로 PaLM이고 하단 제어층만 BC-Z에서 RT-1으로 바뀐다. 전사에 따르면 RT-1은 13만 건 이상의 사람 시연 데이터와 더 큰 트랜스포머 구조로 훈련되어, 계획층이 고를 수 있는 "행동 메뉴"를 크게 넓혔다.

00:05:25

PaLM-E — 눈을 가진 플래너

PaLM-E 데모 — 연구자가 과자 봉지를 서랍에 되돌려 놓아도 계획을 다시 세우는 장면

2023년 3월 PaLM-E. 텍스트 전용 PaLM 대신 비전+언어 멀티모달 모델이 플래너 자리에 들어간다. 상단 영상은 연구자가 과자 봉지를 서랍에 반복해서 되돌려 놓아도 PaLM-E가 상황 변화를 인지하고 계획을 다시 세우는 장면이다.

00:06:06

PaLM-E와 RT-1의 구조적 동형성

PaLM-E와 RT-1을 나란히 놓은 도식 — 둘 다 Image Encoder를 거쳐 Transformer로 들어간다

두 모델을 나란히 놓은 도식. 양쪽 모두 카메라 이미지를 Image Encoder에 통과시킨 뒤 Transformer로 보낸다. 차이는 학습 목표뿐이다 — PaLM-E는 텍스트("Pick up the sponge")를, RT-1은 제어 신호를 출력하도록 훈련되었다.

00:07:08

"두 개의 모델이 정말 필요한가?"

PaLM-E 트랜스포머에서 곧바로 로봇 관절 위치 시계열이 출력되는 도식

같은 도식에서 PaLM-E 트랜스포머로부터 곧바로 로봇 관절 위치(Robot Joint Positions) 시계열이 뻗어 나온다. RT-1을 하나의 강력한 엔드투엔드 모델로 흡수할 수 있는가라는 질문을 시각적으로 제기하는 장면이다.

00:08:07

RT-2 — 학습 데이터에 없던 개념으로의 일반화

RT-2가 테일러 스위프트라는 학습 데이터에 없던 개념을 로봇 제어에 연결하는 장면

2023년 7월 RT-2. 로봇 제어 학습 데이터에 테일러 스위프트가 있었을 리 없으므로, 이 과제를 풀려면 인터넷 규모 사전학습에서 얻은 추상 개념과 로봇 제어 에피소드를 연결해야만 한다. 영상이 이 "인상적이지 않은" 데모를 결정적 사건으로 보는 이유다.

00:08:56

VLA 계보의 완성

SayCan부터 RT-2까지의 전체 타임라인 — RT-2에서 상하단이 하나의 분홍색 뇌로 합쳐진다

SayCan(2022.4) → RT-1(2022.12) → PaLM-E(2023.3) → RT-2(2023.7)의 전체 타임라인과 ChatGPT·GPT-4 출시 시점이 함께 표시된다. RT-2에서 처음으로 상·하단이 하나의 분홍색 뇌(Vision + Language + Action)로 합쳐지며 VLA라는 명칭이 붙는다.

⚠ 표기 불일치 이 프레임의 그래픽은 PaLM 파라미터를 "450B"로 적고 있으나, 같은 영상의 내레이션과 앞선 프레임은 540B로 말한다. 실제 PaLM은 540B다.
데모는 초라했다. 그러나 학습 데이터에 없던 개념이
처음으로 로봇의 행동이 되었다. — RT-2가 VLA라는 이름을 얻은 이유
04

π₀ — 더 작아진 두뇌, 더 정교해진 손

RT-2 팀의 이탈, 그리고 2024년 10월 Physical Intelligence의 답안

RT-2 데모 이후 1년 안에 Karol Hausman을 비롯한 핵심 인력이 구글을 떠나 Physical Intelligence를 세웠다. 이들이 내놓은 π₀는 역설적인 수치를 보여준다. 모델은 작아졌는데 할 수 있는 일은 훨씬 정교해졌다.

항목RT-2 (2023.7, Google)π₀ (2024.10, Physical Intelligence)
파라미터5–55B3.3B
추론 하드웨어멀티-TPU 클러스터 (오프보드)Nvidia RTX 4090 단일 GPU (온보드 가능)
추론 시간200–1000ms73ms
과제 수준물체 집기·재배치 중심세탁물 개기, 오렌지 껍질 벗기기, 처음 보는 주방 정리

수치 출처: 영상 00:11:00 화면에 직접 표시된 값.

00:11:00

RT-2 vs π₀ 사양 비교

RT-2와 π₀의 파라미터, 하드웨어, 추론 시간을 비교한 화면

화면에 직접 표시된 수치: RT-2는 5–55B 파라미터, 멀티-TPU 클러스터, 200–1000ms 추론. π₀는 3.3B 파라미터, RTX 4090 단일 GPU, 73ms 추론. 성능이 올라갔는데 모델은 오히려 작아졌다는 것이 이 절의 핵심이다.

00:11:37

π₀의 입출력 — 카메라 3대와 14개 관절

Aloha 양팔 플랫폼에서 Uncap the pen 프롬프트를 처리하는 π₀ — 카메라 3대 입력과 14개 관절 출력

Aloha 양팔 플랫폼에서 "Uncap the pen" 프롬프트를 처리하는 π₀. 입력은 오버헤드 1대 + 각 손목 1대씩 총 3개 시점이고, 출력은 14개 관절 (팔당 Waist·Shoulder·Elbow·Forearm·Wrist angle·Wrist rotate·Gripper)의 위치 시계열이다. 화면 범례에 14개 관절명이 모두 읽힌다.

00:12:48

PaliGemma + Action Expert

π₀ 내부 확대도 — PaliGemma 점선 상자 안의 SigLIP 인코더와 Gemma 2B, 아래의 노란 Action Expert 상자

π₀ 내부 확대도. 점선 상자 PaliGemma 안에 SigLIP So400m 인코더들과 LLM(Gemma 2B)이 들어 있고, 그 아래 노란 상자가 Action Expert다. 상자 안 코드 gemma_expert = GemmaForCausalLM()이 그대로 보인다 — 전사에서 "코드베이스에서 Action Expert가 Gemma 모델로 인스턴스화된다"고 말한 부분의 화면 근거다.

05

어텐션 해부 — "pen"이 펜이 되는 순간

단어 하나가 이미지 패치를 찾아내는 과정을 숫자로 확인한다

π₀의 앞단은 이렇게 요약된다. 카메라 3대의 이미지가 각각 256개 패치로 쪼개져 SigLIP So400m 인코더를 거치면 768개의 임베딩 벡터(길이 2048)가 되고, 프롬프트 "Uncap the pen"의 4개 토큰이 더해져 총 772개 입력이 Gemma 2B로 들어간다. Gemma 2B는 18개 트랜스포머 블록, 블록당 8개 어텐션 헤드로 구성된다. 이 구조가 그대로 뒤의 Action Expert와 공유된다는 점이 π₀ 설계의 복선이다.

00:13:58

이미지 패치화 — 768 패치

3개 카메라 이미지가 격자로 쪼개져 SigLIP So400m 인코더로 들어가는 장면, 왼쪽에 768 PATCHES 라벨

3개 카메라 이미지가 각각 격자로 쪼개져 SigLIP So400m 인코더로 들어간다. 왼쪽 세로 라벨이 "768 PATCHES"이며, 하단 각주는 이 768개에 위아래 레터박스 (검은 여백) 패치가 포함되어 있다고 명시한다. 프롬프트는 "Uncap the pen".

00:15:28

Gemma 2B의 내부 — 18블록 × 8헤드

Gemma 2B의 18개 트랜스포머 블록과 블록당 8개 어텐션 헤드 구조 도식

Gemma 2B가 18개 트랜스포머 블록으로 구성되고, 각 블록이 어텐션(h₀–h₇, 즉 8개 헤드)과 다층 퍼셉트론으로 이루어짐을 보여준다. 이 "18블록 × 8헤드" 구조가 뒤에서 Action Expert와 그대로 공유된다.

00:17:52

Query·Key와 내적 값

W_Q와 W_K가 입력을 쿼리와 키로 변환하고, 펜 패치 두 행만 양수 내적 값을 갖는 화면

학습 가중치 WQ, WK(각 2048×256)가 입력을 QUERIES(772×256)와 KEYS(772×256)로 변환한다. 오른쪽 DOT PRODUCT 열에서 펜을 담은 두 주황색 행만 양수이고 나머지는 모두 음수다. "pen" 토큰의 쿼리가 펜 이미지 패치와 선택적으로 정렬된다는 정량적 증거다.

입력 행 (772개 중)"pen" 쿼리와의 내적해석
펜을 담은 이미지 패치 ①+36.30단어 "pen"과 선택적으로 정렬
펜을 담은 이미지 패치 ②+41.04
그 외 770개 행−19 ~ −48모두 음수 — 어텐션에서 배제

출처: 영상 00:17:52 화면의 DOT PRODUCT 열.

00:18:48

어텐션 히트맵으로 본 펜 추적

3개 카메라 이미지 위에 마젠타 히트맵이 겹쳐져 펜 위치에 어텐션이 집중된 장면

소프트맥스로 정규화한 어텐션 값을 3개 카메라 이미지 위에 마젠타 히트맵으로 겹쳤다. 세 시점 모두에서 밝은 마젠타가 펜(주황색 물체) 위치에 집중된다. 어텐션 헤드가 프롬프트의 단어 "pen"을 이미지 속 펜에 연결하고 있음을 보여준다. 프레임을 이어 붙여 재생하면 이 어텐션이 실제로 펜을 추적한다.

00:19:22

772×772 어텐션 패턴 전체

772×772 어텐션 패턴 행렬과 W_V가 만든 VALUES 행렬, h6 헤드 표기가 보이는 화면

개별 쿼리가 아니라 772개 입력 전체가 서로를 조회한 결과인 772×772 ATTENTION PATTERN 행렬. 우하단에 WV(2048×256)가 만든 VALUES(772×256)가 함께 있고, 좌측에는 772개 임베딩 벡터(길이 2048)가 표시된다. 우측 하단 h₆ 표기는 6번 헤드를 보고 있음을 뜻한다. 소프트맥스 정규화 후 값 행렬과 곱하면 펜 패치의 표현이 "pen" 토큰 위치로 복사·합산된다 — 텍스트와 픽셀의 통합 표현이 형성되는 지점이다.

06

Action Expert와 KV 캐시 인터페이스

π₀ 설계의 심장 — 두 네트워크가 "거의 하나처럼" 사고하는 방법

Action Expert는 Gemma와 동일한 아키텍처(18블록 × 8헤드)를 갖지만 무작위로 초기화되고, 추론 비용을 낮추기 위해 폭이 좁다(임베딩 1024차원 vs Gemma의 2048차원). 결과를 한 번에 출력하지 않고, 순수 노이즈로 시작한 14×50 행렬을 반복적으로 다듬어 최종 관절 궤적으로 만든다 — AI 이미지 생성의 확산·플로우 매칭과 같은 절차로, π₀는 10회 반복한다.

이 방식이 잘 맞는 이유는 분포의 다봉성이다. 고양이 이미지를 만드는 방법이 여러 가지이듯, 14개 관절로 펜 뚜껑을 여는 방법도 여러 가지다. 단일 정답을 회귀하는 대신, 유효한 궤적 분포에서 하나를 뽑아낸다.

PALIGEMMA — 보고 이해하는 쪽 (임베딩 2048차원)
카메라 3대
오버헤드 + 좌/우 손목
↓
각 256 패치 × 3 = 768 패치
→ SigLIP So400m 인코더
프롬프트 "Uncap the pen"
↓
4 토큰 → 임베딩 4개
↓
합계 772개 입력 → Gemma 2B (18블록 × 8헤드)
⇩ 18개 블록 각각의 K/V 캐시 772개 전달
이미지가 바뀌지 않는 동안 재사용 — 자연어가 아닌 어텐션 키·값이 인터페이스
ACTION EXPERT — 움직임을 만드는 쪽 (임베딩 1024차원)
관절 상태 14개 [S₀…S₁₃]
→ WS(14×1024) → 임베딩 1개
미래 50스텝 액션 (초기값: 랜덤 노이즈)
→ 임베딩 50개
↓
합계 51개 입력 → 18블록 × 8헤드
각 헤드의 키/값 = 자기 51개 + Gemma 772개 = 823개
↓
플로우 매칭 ×10회 반복으로 노이즈를 다듬음
↓
14 관절 × 50 타임스텝 궤적 출력
00:21:24

Action Expert의 첫 번째 입력 — 현재 상태

Aloha 양팔의 가동 관절을 빨간 화살표로 표시한 CURRENT POSITION (STATE) 패널

Aloha 양팔의 가동 관절을 빨간 화살표로 표시한 CURRENT POSITION (STATE) 패널이 Action Expert로 들어간다. 상단 수식 [S₀, S₁, …]이 관절 위치 벡터를 나타낸다.

00:22:52

출력 형태 — 관절 × 타임스텝 행렬

세로축 JOINT, 가로축 TIMESTEP인 출력 행렬이 이미지처럼 시각화된 화면

Action Expert의 출력은 세로축 JOINT, 가로축 TIMESTEP인 행렬이며 이미지처럼 시각화된다. 각 행이 하나의 관절, 각 열이 하나의 미래 시점이다. 전사 기준 실제 크기는 14×50이다.

00:24:08

상태 + 랜덤 액션 → 51개 임베딩

관절 상태 벡터가 W_S를 거쳐 임베딩이 되고 랜덤 액션 50개와 합쳐져 51개 임베딩이 되는 도식

관절 상태 벡터 [S₀,…,S₁₃]가 WS(14×1024)를 거쳐 임베딩 1개가 되고, 여기에 NEXT 50 POSITIONS (ACTIONS) — 아직 랜덤 노이즈 상태인 행렬 — 이 더해져 총 51개 임베딩 벡터(길이 1024)가 Action Expert 입력이 된다. Gemma가 2048차원인 것과 달리 1024차원을 쓰는 점이 화면에 드러난다.

00:26:52

823개 키 — 두 모델을 잇는 인터페이스

QUERIES는 51×256인데 ALL KEYS와 ALL VALUES는 823×256 — 51+772의 합임을 보여주는 화면

Action Expert의 QUERIES는 51×256이지만, ALL KEYS와 ALL VALUES는 823×256이다. 오른쪽 중괄호가 그 823이 자기 자신의 51개와 Gemma에서 가져온 772개의 합임을 명시한다. WQ·WK·WV가 모두 1024×256으로, Gemma의 2048×256과 구분된다. π₀ 설계의 핵심이 한 장에 담긴 프레임이다.

00:27:32

블록 단위로 공유되는 KV 캐시

파란 테두리 Gemma 블록들의 키/값이 아래 노란 테두리 Action Expert 블록으로 내려가는 도식

파란 테두리의 Gemma 2B 18개 블록에서 각 어텐션이 계산한 키/값(초록·주황·하늘색 줄)이 아래쪽 노란 테두리 Action Expert 블록으로 내려간다. 이미지가 바뀌지 않는 동안 이 캐시를 재사용하므로, 플로우 매칭을 10회 반복해도 PaliGemma를 다시 돌릴 필요가 없다 — 10회 반복이 곧 10배 비용이 되지 않는 이유다.

SayCan은 자연어로 말을 건넸고,
π₀는 어텐션의 키·값을 직접 건넨다. — 두 세대를 가르는 인터페이스의 차이

π₀ 공개 이후 학습 방식과 모델은 개선되었지만, "긴밀 결합된 멀티모달 LLM + 플로우 매칭 Action Expert"라는 핵심 구조는 그대로 유지되고 있다.

07

반론 — "VLA are doomed"

00:30:16

Yann LeCun의 반론

진행자와 Yann LeCun의 화상 인터뷰 장면

진행자와 Yann LeCun의 화상 인터뷰. JEPA 계열이 VLA를 앞지를 것으로 보느냐는 질문에 LeCun은 즉답한다.

Oh, absolutely. VLA are doomed. — Yann LeCun, 영상 인터뷰 중 (00:30:16)

다만 영상에 담긴 것은 인터뷰 중의 짧은 단언이며, 그 근거는 이 영상에서 다뤄지지 않는다. 제작진은 JEPA 기반 월드 모델 접근을 다음 편에서 다루겠다고 예고했다. 노선 경쟁은 아직 열려 있다.

08

시사점

연구 관점 — 가치는 전이 경로에 있다

VLA의 가치는 제어 정확도가 아니라 사전학습 지식의 전이 경로에 있다. 로봇 데이터가 부족한 도메인에서는 "얼마나 많은 시연을 모으는가"보다 "어떤 백본에 무엇을 어떻게 붙이는가"가 성능을 좌우할 수 있다.

설계 관점 — 배울 것은 크기가 아니라 인터페이스다

π₀에서 배울 점은 모델 크기가 아니라 인터페이스 설계다. 두 네트워크의 아키텍처를 일치시켜 KV를 직접 공유하는 방식은, 텍스트 병목을 없애면서도 모듈성과 캐시 재사용이라는 실용적 이득을 동시에 얻는다. 이종 모듈을 결합할 때 참고할 만한 패턴이다.

역사 관점 — RALPH의 교훈

1995년 카네기멜런의 RALPH가 미 대륙을 98.2% 자율주행했지만, 자율주행차 상용화는 그로부터 한참 뒤였고 오늘날의 자율주행은 당시와 전혀 다른 방식으로 작동한다. 인상적인 데모와 실용화 사이의 간극, 그리고 최종 승자가 지금의 방식이 아닐 수 있다는 가능성 — 영상은 이 두 가지 경계를 VLA에도 똑같이 적용한다.

09

근거와 한계

이 리포트의 수치가 어디에서 왔는지 — 신뢰도 등급별 정리

수치·사실근거신뢰도
파라미터(5–55B / 3.3B), 추론 시간(200–1000ms / 73ms)화면 직접 확인 (00:11:00)화면 검증
768 패치 (레터박스 포함)화면 직접 확인 (00:13:58)화면 검증
18블록 × 8헤드 구조화면 직접 확인 (00:15:28)화면 검증
행렬 차원(2048×256, 1024×256)과 내적 값(+36.30, +41.04), 823=51+772화면 직접 확인 (00:17:52, 00:19:22, 00:26:52)화면 검증
WS 14×1024화면 직접 확인 (00:24:08)화면 검증
14×50 액션 크기, 플로우 매칭 10회, 13만+ 시연, 772 = 768+4 분해자동 생성 자막자막 근거 — 원문 확인 권장

인용 전 확인 체크리스트

마치며

RT-2의 어색한 콜라 캔 데모에서 π₀의 세탁물 개기까지 걸린 시간은 15개월 남짓이다. 그 사이에 바뀐 것은 모델의 크기가 아니라 지식이 흐르는 통로였다 — 자연어라는 좁은 관에서, 어텐션의 키·값이라는 넓은 관으로. LeCun의 단언처럼 VLA가 막다른 길일지, 아니면 자율주행의 역사처럼 전혀 다른 승자가 나타날지는 아직 알 수 없다. 확실한 것은 하나다. 로봇의 두뇌를 여는 열쇠가 이제 로봇 공학 바깥, 인터넷 규모의 사전학습에서 오고 있다는 사실이다.

공유용 소개 문구

🤖 콜라 캔 데모는 초라했지만 혁명이었다 — 구글 RT-2에서 Physical Intelligence π₀까지, 인터넷 지식이 로봇 관절 궤적이 되는 과정을 어텐션 행렬 수준에서 해부한 리포트. 3.3B 모델이 어떻게 세탁물을 개는가.

원본 영상: https://www.youtube.com/watch?v=2mrGMMmrVNE

더 깊이 보려면 Welch Labs의 원본 영상(35:02)을 추천한다. 각 장면의 타임스탬프 배지를 누르면 해당 시점으로 바로 이동한다.