AI Architecture Review
Research Report · 19 Aug 2026
World Models · Joint Embedding · Part 1

LLM 너머의 지능:
LeCun의 JEPA 베팅

생성에서 예측으로, 픽셀에서 표현으로. Yann LeCun이 왜 거대한 언어 모델과 다른 길에 10억 달러 규모의 승부를 걸었는지 기술적 계보를 따라간다.

Welch Labs 영상 분석 37분 24초 25개 핵심 장면 읽는 시간 약 18분
입력 x와 목표 y를 각각 임베딩한 뒤 표현 공간에서 예측하는 JEPA 구조
JEPA의 최소 구조. 모델은 다음 픽셀을 그리지 않고, 입력의 임베딩으로부터 목표의 임베딩을 예측한다.
Primary source Yann LeCun's $1B Bet Against LLMs [Part 1] · Welch Labs 영상 보기 ↗
Abstract

좋은 지능은 모든 것을 생성해야 하는가?

이 보고서는 Welch Labs와 Yann LeCun의 인터뷰를 바탕으로, 생성형 자기지도학습이 영상에서 부딪히는 문제와 조인트 임베딩이 제안하는 대안을 분석한다. 핵심 경로는 비디오 예측의 블러 → 생성 대신 표현 학습 → 표현 붕괴 → Barlow Twins의 중복 감소 → DINOv3의 성능 도약 → 행동 조건부 JEPA 월드 모델이다. 영상은 JEPA가 LLM을 실제로 대체했다는 결과를 제시하지 않는다. 대신 왜 LeCun이 픽셀·토큰 생성보다 표현 공간의 예측과 계획을 차세대 지능의 토대로 보는지 설명한다.

언어 모델은 다음 단어를 맞히는 단순한 과제를 엄청난 규모로 확장해 놀라운 내부 표현을 얻었다. 그러나 같은 공식을 영상에 적용하면 미래가 선명해지는 대신 흐려진다. 이 실패를 LeCun은 스케일 부족이 아니라 목표 자체의 문제로 읽는다. 세상의 모든 디테일을 생성하려 하지 말고, 행동에 필요한 핵심 표현만 예측하자는 것이다.

Key Findings

이 보고서의 여섯 가지 결론

1

언어와 영상의 출력 공간은 다르다

언어는 유한한 토큰 확률로 불확실성을 보존할 수 있지만, 영상의 가능한 다음 프레임은 사실상 열거할 수 없다.

2

블러는 단순한 화질 문제가 아니다

여러 개의 가능한 미래를 픽셀 하나로 압축하면 평균이 되고, 그 평균은 흐릿한 공과 경계로 나타난다.

3

가치는 생성물이 아니라 표현에 있다

사전학습의 진짜 자산은 자동완성 결과보다 그 문제를 풀면서 모델 내부에 형성된 의미 구조다.

4

조인트 임베딩에는 붕괴 방지 장치가 필요하다

두 표현을 가깝게 만드는 목표만 두면 모든 입력을 같은 벡터로 보내는 자명한 해에 도달한다.

5

중복 감소가 대조 샘플을 대신했다

Barlow Twins는 교차상관 행렬을 단위행렬에 가깝게 만들어 유사성은 보존하고 표현 차원의 중복은 제거한다.

6

행동을 조건으로 넣으면 월드 모델이 된다

행동에 따른 다음 상태의 표현을 예측하고 목표 표현과 비교하면 탐색·계획·제어가 가능한 구조가 된다.

Argument in 30 seconds

LeCun의 논지는 세 번의 전환으로 압축된다

생성의 병목 다중 가능한 미래를 픽셀 하나로 예측하면 평균화와 블러가 발생한다.
표현의 전환 픽셀이 아니라 핵심 특징이 남은 임베딩 공간에서 다음 상태를 예측한다.
계획의 탄생 행동을 조건으로 미래 표현을 탐색해 목표 상태에 도달할 경로를 고른다.
01
The historical fork

하나의 뿌리에서 갈라진 두 개의 AI

생성형 언어 모델과 조인트 임베딩은 서로 무관한 발명이 아니라, 자기지도학습이라는 공통 질문에 대한 두 답변이다.

생성형 AI 경로와 조인트 임베딩 경로를 보여주는 역사적 계보도
Figure 01 · 00:02:20 위쪽은 GPT 계열의 생성 경로, 아래쪽은 Siamese Networks에서 Barlow Twins와 JEPA로 이어지는 조인트 임베딩 경로다.

영상이 제시하는 역사는 두 줄로 갈라진다. 한쪽에는 GPT-1에서 GPT-2·GPT-3와 현대 LLM으로 이어지는 생성 경로가 있다. 다른 한쪽에는 Siamese Networks, 대조 학습, BYOL, Barlow Twins, VICReg, DINO, JEPA로 이어지는 조인트 임베딩 경로가 있다. 흥미로운 점은 LeCun이 CNN과 Siamese Networks를 통해 두 계보의 초기 형성에 모두 관여했다는 사실이다.

Welch Labs 진행자 Stephen Welch와 Yann LeCun의 원격 인터뷰 화면
Figure 02 · 00:04:45 영상의 핵심 주장은 Stephen Welch와 Yann LeCun의 인터뷰를 축으로 전개된다.

“지능은 케이크다”

LeCun은 2015년경부터 자기지도학습을 케이크의 몸통, 지도학습을 아이싱, 강화학습을 체리에 비유했다. 당시 주목받던 강화학습만으로 인간 수준의 지능에 접근하기에는 학습 효율이 지나치게 낮다는 문제 제기였다. 이후 언어 분야에서는 그의 비유와 닮은 순서가 실제로 자리 잡았다. 대규모 자기지도 사전학습 위에 지도 미세조정과 인간 피드백 기반 강화학습을 얹는 방식이다.

GPT-1이 아홉 개 언어 벤치마크에서 기존 최고 성능을 앞선 막대그래프
Figure 03 · 00:06:20 GPT-1은 약 7,000권의 도서로 자기지도 사전학습한 뒤 과제별 지도학습을 적용해 9개 벤치마크에서 기존 최고 성능을 경신했다.

GPT-1의 성과는 과제마다 별도의 모델을 설계하던 흐름을 뒤집었다. 하나의 모델이 방대한 비라벨 텍스트에서 일반적인 표현을 먼저 학습하고, 소량의 라벨로 여러 과제에 적응했다. 언어에서 자기지도학습은 확장 가능한 범용 표현 학습법이 되었다.

시각 분야의 지도학습 계보와 언어 분야의 자기지도학습 계보를 비교한 그림
Figure 04 · 00:07:40 언어는 자기지도 사전학습으로 폭발했지만, 당시의 시각 모델은 여전히 대규모 라벨 데이터에 크게 의존했다.

문제는 이 성공이 시각과 비디오에서 그대로 재현되지 않았다는 데 있다. AlexNet을 비롯한 비전 모델은 ImageNet의 사람이 붙인 라벨을 발판으로 성장했다. 언어와 같은 방식으로 다음 비디오 프레임을 생성하도록 학습하면, 모델은 의미 있는 세계 이해 대신 급속히 흐려지는 영상을 내놓았다.

비디오 다음 프레임 예측 결과에서 공과 손이 흐릿해진 장면
Figure 05 · 00:08:25 생성 방식의 다음 프레임 예측. 이 결과를 다시 입력하는 자기회귀 과정을 반복하면 불확실성과 오차가 누적된다.
언어에서는 통했던 자기지도 생성 목표가, 왜 영상에서는 세계를 배우기보다 흐리게 만드는가? 영상이 설정하는 핵심 질문
02
Why pixels become blurry

블러는 불확실성을 평균낸 흔적이다

출력 공간의 조합적 폭발과 단일 픽셀 예측이라는 제약이 만나면, 모델이 택하는 합리적인 답은 ‘평균적인 미래’가 된다.

GPT-2의 50,257개 토큰 출력과 Full HD 비디오 프레임의 경우의 수를 비교한 그림
Figure 06 · 00:12:00 언어 모델의 출력은 유한한 토큰 목록이지만, Full HD 한 프레임의 가능한 조합은 약 10의 1,500만 제곱에 이른다.
Language model

가능성을 확률로 나눈다

GPT-2는 50,257개의 이산 토큰마다 확률을 둘 수 있다. 문장의 다음 단어가 left 또는 right일 수 있다면 두 가능성을 별도의 출력으로 유지한다.

Pixel predictor

가능성을 한 장으로 합친다

비디오 모델은 가능한 모든 프레임에 별도 출력 노드를 만들 수 없다. 각 픽셀의 강도를 직접 예측하면 여러 미래가 하나의 평균 이미지로 겹친다.

Output-space gap
256(1920 × 1080 × 3) ≈ 1015,000,000

관측 가능한 우주의 원자 수를 약 1080으로 잡아도 비교가 되지 않는다. 가능한 프레임을 토큰처럼 하나씩 열거하는 방식은 현실적인 선택지가 아니다.

언어의 left와 right 확률 출력과 비디오의 여러 공 위치가 평균화되는 과정을 비교한 그림
Figure 07 · 00:13:15 여러 방향으로 튈 수 있는 공을 픽셀 하나의 미래로 예측하면 각각의 가능성이 흐릿하게 포개진다.

평균은 손실을 줄이는 통계적으로 합리적인 답이지만, 세계를 정확히 묘사하지는 않는다. 더구나 예측된 흐린 프레임을 다음 입력으로 다시 사용하면, 작은 불확실성이 매 단계 증폭된다. 영상이 표현한 “흐릿한 무”는 모델이 약해서라기보다 다중 모드의 미래를 단일 픽셀 출력으로 강제한 목적 함수의 결과다.

그렇다면 생성이 꼭 필요한가?

The Beatles 문장을 완성하는 Transformer 내부 표현을 강조한 그림
Figure 08 · 00:14:00 자동완성 결과보다 중요한 것은 정답을 예측하기 위해 어텐션과 MLP 내부에 형성된 표현이다.

“The Beatles were a famous” 다음에 “band”를 맞히는 능력은 유용하지만, 사전학습이 남기는 더 큰 자산은 Beatles, 음악, 집단, 문장 구조의 관계가 정리된 내부 표현이다. 이 관점에서 생성은 목적이 아니라 표현을 얻기 위한 훈련 과제다. 그렇다면 이미지를 직접 만들어내지 않고도 좋은 표현만 학습할 수 있어야 한다.

관점의 전환

생성 모델은 관측 공간의 모든 세부사항을 맞히도록 요구한다. 조인트 임베딩은 인코더를 통과해 살아남은 의미 있는 특징들 사이의 관계만 맞히도록 요구한다.

03
The collapse problem

생성하지 않는 학습의 아킬레스건

같은 장면의 두 표현을 가깝게 만들면 의미 불변성을 배울 수 있다. 그러나 그 목표만으로는 아무것도 배우지 않는 완벽한 지름길이 생긴다.

두 개의 동일한 네트워크로 서명의 유사성을 측정하는 Siamese Network 구조
Figure 09 · 00:16:25 1990년대 초 서명 위조 탐지를 위해 사용된 Siamese Networks. 두 입력을 같은 가중치의 인코더로 처리하고 표현의 거리를 비교한다.

LeCun이 Bell Labs에서 개발한 Siamese Networks는 두 장의 서명을 동일한 네트워크의 복사본에 넣는다. 같은 사람의 서명은 가까운 임베딩으로, 위조 서명은 먼 임베딩으로 보내도록 훈련한다. 이 방식은 이미지를 복원하거나 생성하지 않고도 비교에 유용한 표현을 얻는다.

원본 사진과 변형된 사진을 같은 임베딩으로 보내는 조인트 임베딩 구조
Figure 10 · 00:18:00 원본과 가려진 뷰는 의미적으로 같은 장면이므로 표현도 같아야 한다.
모든 입력이 동일한 벡터가 되는 표현 붕괴 사례
Figure 11 · 00:18:30 그러나 모든 입력을 같은 벡터로 보내도 두 표현의 유사도는 최대가 된다.

이미지의 원본과 변형본을 같은 표현으로 보내면 조명, 가림, 색 변화에 흔들리지 않는 의미적 불변성을 얻을 수 있다. 하지만 두 벡터를 가깝게 만들라는 조건만 주면 네트워크는 모든 입력에 똑같은 벡터를 출력한다. 손실은 완벽하지만 정보는 사라진다. 이것이 표현 붕괴다.

원조 Siamese Networks는 일치하지 않는 입력인 negative 쌍을 멀리 보내는 대조 학습으로 붕괴를 막았다. 그러나 표현 공간이 커질수록 충분히 다양한 negative 샘플을 구성하는 비용이 증가한다. 영상 속 LeCun은 최악의 경우 필요한 대조 샘플 수가 표현 차원에 지수적으로 늘어날 수 있다고 설명한다.

Horace Barlow의 1961년 논문 Possible Principles Underlying the Transformations of Sensory Messages
Figure 12 · 00:20:40 돌파구는 Horace Barlow가 1961년에 제안한 감각계의 중복 감소 가설에서 왔다.

2020년 LeCun과 일하던 포스닥 Stéphane Deny는 이 문제에 이론신경과학의 오래된 아이디어를 연결했다. Barlow는 시각계가 뉴런 간 중복 정보를 줄이는 방향으로 감각 메시지를 변환한다고 보았다. 표현을 서로 같게 만드는 동시에, 각 표현 차원이 서로 다른 정보를 맡도록 만들면 붕괴를 피할 수 있다는 발상이었다.

이미지 배치에 걸친 한 뉴런의 활성값과 변형된 이미지 배치의 활성값을 비교한 그림
Figure 13 · 00:21:40 각 임베딩 차원을 하나의 출력 뉴런으로 보고, 이미지 배치 전체에 걸친 활성 패턴을 비교한다.
04
Redundancy reduction

Barlow Twins: 단위행렬이 붕괴를 막는 법

같은 장면의 대응 표현은 일치시키되, 서로 다른 표현 차원은 중복되지 않도록 만든다.

두 출력 벡터 사이의 Pearson 교차상관을 계산하는 수식과 시각화
Figure 14 · 00:23:30 두 뷰에서 나온 각 뉴런의 배치별 활성값에 Pearson 상관계수를 적용해 모든 뉴런 쌍의 교차상관을 구한다.
Cross-correlation
Cij = Σb zAb,izBb,j ÷ √(Σb(zAb,i)²) √(Σb(zBb,j)²)

b는 배치의 이미지, i와 j는 두 네트워크의 임베딩 차원을 뜻한다. 모든 i·j 조합을 계산하면 표현 차원 사이의 교차상관 행렬이 만들어진다.

관측된 교차상관 행렬과 목표 단위행렬을 비교한 Barlow Twins 손실 설명
Figure 15 · 00:24:25 대응 차원의 상관은 1, 서로 다른 차원의 상관은 0에 가까워야 한다. 목표는 단위행렬이다.
관측 행렬 중복되고 얽힌 표현
목표 행렬 일치성과 비중복성
  1. 같은 이미지에서 두 개의 뷰를 만든다 크롭, 가림, 색 변화 등으로 입력을 다르게 만들되 의미는 유지한다.
  2. 두 뷰를 공유 가중치 인코더에 넣는다 각 뷰에서 고차원 임베딩을 얻고 배치 전체의 활성 패턴을 모은다.
  3. 대응 차원의 상관을 1로 보낸다 같은 의미의 두 뷰가 같은 특징을 인식하도록 표현의 불변성을 강화한다.
  4. 비대응 차원의 상관을 0으로 보낸다 각 차원이 다른 정보를 담게 해 중복과 표현 붕괴를 억제한다.

Barlow Twins의 손실은 교차상관 행렬과 단위행렬 사이의 편차다. 대각 성분을 1로 만드는 항은 두 뷰의 대응 특징을 일치시킨다. 비대각 성분을 0으로 만드는 항은 서로 다른 특징이 같은 정보를 반복하지 않도록 한다. 모든 입력이 같은 벡터라면 비대각 상관이 커지므로 더는 최적해가 될 수 없다.

동결된 Barlow Twins 인코더에 선형 분류층을 붙이는 리니어 프로브 평가
Figure 16 · 00:26:15 동결된 인코더 위에 선형층 하나만 훈련하는 리니어 프로브에서 ImageNet 정확도 73.2%를 기록했다.

표현 품질은 인코더를 동결하고 얕은 선형 분류층만 학습하는 리니어 프로브로 평가한다. 복잡한 파인튜닝의 효과를 줄이고, 사전학습된 특징이 이미 클래스를 얼마나 잘 분리하는지 보는 방식이다. 영상이 제시한 Barlow Twins의 ImageNet 정확도는 73.2%로, AlexNet의 59.3%를 13.9%포인트 앞선다.

Siamese Networks에서 BYOL, Barlow Twins, VICReg와 DINO로 이어지는 자기지도 조인트 임베딩 계보
Figure 17 · 00:26:50 Barlow Twins 이후 VICReg와 DINO 계열이 등장하며 비전 자기지도학습은 독립적인 주류 연구 축으로 성장했다.
구현상의 선택

영상 설명에 따르면 논문 부록은 같은 네트워크 안의 서로 다른 뉴런을 비교하는 대안도 실험했다. 결과 차이는 크지 않았고, 구현이 단순한 두 번째 네트워크 출력과의 비교가 최종 방식으로 채택됐다.

05
Self-supervision catches up

DINOv3가 보여준 2025년의 전환점

라벨 없이 학습한 표현이 지도학습 모델의 ImageNet 성능과 사실상 동률에 도달했다.

DINOv3 논문과 AlexNet, Barlow Twins, ViT, DINOv3의 ImageNet 정확도 비교
Figure 18 · 00:28:10 DINOv3 88.4%와 지도학습 ViT 88.6%의 격차는 0.2%포인트다. 영상은 이를 자기지도가 지도학습을 따라잡은 사건으로 제시한다.
영상에 제시된 ImageNet 성능 비교
모델 연도 학습 방식 정확도 해석
AlexNet 2012 지도학습 59.3% 대규모 라벨 기반 비전 학습의 출발점
Barlow Twins 2021 자기지도 + 리니어 프로브 73.2% 중복 감소 기반 조인트 임베딩의 성과
ViT 2020 지도학습 88.6% 영상이 비교 기준으로 제시한 지도학습 성능
DINOv3 2025 자기지도학습 88.4% 지도학습 모델과 사실상 동률
숫자를 읽을 때의 주의점

이 비교는 자기지도 표현의 장기적 발전을 보여주지만, 방법론만의 순수 효과를 측정하지는 않는다. AlexNet과 DINOv3 사이에는 13년의 아키텍처·데이터·연산 차이가 있다.

손바닥 패치를 기준으로 DINO 임베딩 유사도를 시각화해 손 영역이 분리된 장면
Figure 19 · 00:28:40 손바닥의 한 패치를 기준으로 유사도를 표시하면 손 전체가 배경과 분리된다. 사람의 분할 라벨 없이 형성된 공간적 의미 구조다.

정확도 하나보다 더 인상적인 증거는 패치 임베딩의 구조다. DINO는 이미지의 각 패치를 벡터로 표현한다. 손바닥의 한 패치와 가까운 임베딩을 찾아 색으로 표시하면, 배경이 아니라 손의 다른 부위가 함께 선택된다. 모델은 “손”이라는 라벨을 받지 않았지만 형태와 의미를 공유하는 영역을 표현 공간에서 묶었다.

자기지도 비전의 성과는 이미지를 잘 복원한 것이 아니라, 라벨 없이도 세계의 의미적 경계를 드러낸 데 있다. 핵심 해석
06
From representation to agency

JEPA에 행동을 더하면 월드 모델이 된다

다음 상태의 표현을 예측하고, 가능한 행동을 탐색해 목표 표현에 가까워지는 경로를 선택한다.

Configurator, Perception, World Model, Actor, Cost 모듈로 구성된 LeCun의 자율지능 아키텍처
Figure 20 · 00:29:28 LeCun의 2022년 포지션 페이퍼가 제시한 자율지능 구조. 지각, 월드 모델, 기억, 행위자와 비용 모듈이 순환한다.

LeCun은 상식을 “무엇이 그럴듯하고 무엇이 불가능한지 알려주는 세계 모델들의 집합”으로 본다. 세계 모델이 있어야 적은 시행으로 새 기술을 배우고, 행동의 결과를 예상하며, 추론·계획·탐색· 상상을 수행할 수 있다는 주장이다.

영상은 인간 청소년이 약 20시간의 연습으로 운전의 기본을 익히는 반면, 자율주행 시스템은 수백만 시간의 데이터에도 높은 수준의 일반화에 어려움을 겪는다는 대비를 든다. 수치 자체보다 중요한 논점은 인간이 관찰 데이터만 축적하는 것이 아니라 물리적 세계의 지속성, 원인과 결과, 가능한 행동을 압축된 모델로 학습한다는 것이다.

비디오와 다음 프레임을 임베딩하고 예측 오차를 줄이는 V-JEPA 구조
Figure 21 · 00:31:30 JEPA는 다음 프레임의 픽셀을 생성하지 않는다. 현재 비디오의 표현으로부터 다음 상태의 표현을 예측한다.

현재 비디오와 다음 프레임을 각각 인코딩하면 두 벡터가 생긴다. 예측기는 현재 벡터로부터 다음 벡터를 예상하고 실제 목표 벡터와의 오차를 줄인다. 인코더가 나뭇잎의 미세한 흔들림이나 센서 노이즈를 버리고 객체, 위치, 운동처럼 안정적인 특징을 보존한다면 예측기도 그 핵심만 모델링하면 된다.

대시캠 영상과 나뭇잎 움직임이 강조된 광학 흐름 시각화
Figure 22 · 00:31:55 픽셀 수는 많지만 본질적으로 예측하기 어려운 나뭇잎 움직임. 생성 모델은 이런 세부사항에도 예측 자원을 써야 한다.
Generative objective

보이는 모든 것을 맞힌다

나뭇잎, 그림자, 질감, 센서 잡음처럼 행동과 무관하거나 예측 불가능한 픽셀도 손실에 포함한다.

JEPA objective

살아남은 특징을 맞힌다

인코더가 보존한 객체와 상태의 핵심 특징을 표현 공간에서 예측해 모델링 부담을 줄인다.

행동 신호를 조건으로 미래 임베딩을 예측하고 목표 임베딩과 비교하는 JEPA 월드 모델
Figure 23 · 00:33:20 예측기에 행동 신호를 추가하면 행동에 따른 미래 상태를 시뮬레이션할 수 있다. 목표 임베딩에 가까운 행동 시퀀스를 탐색해 제어한다.
  1. 현재 상태를 표현한다 카메라 영상이나 센서 관측을 인코더에 넣어 현재 상태 임베딩을 얻는다.
  2. 후보 행동을 조건으로 미래를 예측한다 로봇 팔의 제어 신호처럼 실행 가능한 행동을 예측기의 추가 입력으로 넣는다.
  3. 목표 상태도 같은 공간에 표현한다 도달하려는 장면이나 상태를 인코딩해 목표 임베딩을 만든다.
  4. 오차가 가장 작은 행동 시퀀스를 찾는다 예측된 미래와 목표 표현의 거리를 최소화하도록 탐색·계획하고 선택한 행동을 실행한다.

LeCun은 이 구조를 고전 최적제어에 새로운 반전을 준 것으로 설명한다. 목표와 비용을 두고 행동 시퀀스를 최적화한다는 골격은 고전적이다. 다른 점은 환경의 동역학 모델을 사람이 쓰지 않고 데이터에서 학습하며, 더 나아가 최적화가 이루어지는 상태 표현 자체도 함께 학습한다는 데 있다.

“행동의 결과를 예측할 능력 없이 에이전틱 시스템을 만든다는 발상 자체를 이해할 수 없다.” Yann LeCun · 영상 인터뷰 취지

이 관점에서 신뢰할 수 있는 에이전트는 답을 연속 생성하는 시스템이 아니다. 행동 후보의 결과를 먼저 예측하고, 목표 달성과 안전 조건을 함께 만족하는 경로를 탐색하는 시스템이다. 추론의 중심도 자기회귀 생성에서 탐색과 계획으로 이동한다.

LeWorldModel의 Two-Room, Reacher, Push-T, OGBench Cube 성공률 비교 그래프
Figure 24 · 00:35:00 Part 2에서 다룰 LeWorldModel 벤치마크 예고. 이 영상은 원리와 계보를 설명한 뒤 실제 성능 판정을 후속편으로 넘긴다.
07
Implications

연구실 밖에서 무엇이 달라지는가

JEPA의 실질적 가치는 생성 모델과의 철학적 경쟁보다 라벨, 예측 자원, 제어 구조를 다시 설계하게 한다는 데 있다.

01

야외 로봇과 자율작업

흙, 먼지, 초목처럼 픽셀 비중은 크지만 예측 가치가 낮은 요소가 많은 환경에서 표현 공간 예측은 픽셀 재구성보다 효율적인 모델 예측 제어의 토대가 될 수 있다.

02

라벨 비용 절감

현장 영상에 정교한 라벨을 붙이기 어려운 건설·농업·제조 도메인에서는 자체 비디오를 이용한 자기지도 사전학습을 먼저 검토할 근거가 생긴다.

03

표현 중심 평가

동결 인코더와 리니어 프로브를 사용하면 대규모 파인튜닝 없이 사전학습 표현의 품질을 비교할 수 있다. 사내 모델 선택에 적용하기 쉬운 저비용 프로토콜이다.

실무 검토 체크리스트

  • 우리 데이터에서 행동에 중요한 변화와 예측 불가능한 픽셀 변화를 구분할 수 있는가?
  • 인코더의 표현 품질을 측정할 고정된 리니어 프로브 과제와 데이터 분할이 있는가?
  • 표현 붕괴를 평균 분산, 특이값, 차원별 상관 등으로 지속적으로 감시하는가?
  • 목표 임베딩과 실제 과업 성공률 사이의 정렬을 별도로 검증하는가?
  • 월드 모델의 예측 오차가 계획 단계에서 누적될 때 안전 제약을 어떻게 적용할 것인가?
08
Limits & counterweights

아직 승자는 정해지지 않았다

영상은 설득력 있는 계보를 제공하지만 JEPA가 LLM 또는 생성형 월드 모델보다 우월하다는 최종 실증은 제시하지 않는다.

!

판정은 Part 2로 유보

“But is JEPA good?” 챕터가 시작된 직후 LeWorldModel 예고로 넘어간다. 실제 비교 성능은 후속편의 증거를 함께 검토해야 한다.

!

비교 조건이 다르다

2012년 AlexNet과 2025년 DINOv3는 아키텍처, 데이터, 연산 규모가 모두 다르다. 하나의 막대그래프로 방법론의 순수 효과를 분리할 수 없다.

!

인터뷰 화자의 관점

LLM의 한계에 관한 강한 진술은 LeCun의 연구 관점이다. LLM 기반 멀티모달 모델과 생성형 월드 모델 진영의 반론은 영상에 충분히 포함되지 않는다.

!

리니어 프로브의 범위

분류에 선형 분리 가능한 표현이 계획·제어에도 좋은 표현이라는 보장은 없다. 동역학 예측과 장기 계획 평가는 별도로 필요하다.

!

표현 공간도 정보를 버린다

인코더가 예측하기 어려운 정보를 제거할 때 과업에 필요한 희귀 신호까지 버릴 수 있다. 무엇을 보존할지는 여전히 학습 목표와 데이터에 좌우된다.

!

자동 자막의 오류

수동 자막이 없어 기술 용어와 숫자는 화면 표기를 우선했다. 고유명사 자동 인식 오류가 많아 세부 인용은 원 논문과 대조해야 한다.

09
Viewing guide

37분 영상을 다시 볼 때의 지도

핵심 논증과 기술 전환이 등장하는 구간을 중심으로 정리했다.

챕터별 타임라인
시각 챕터 핵심 역할
00:00Intro10억 달러 베팅과 JEPA 문제 설정
02:28The Problem with Deep Learning생성 경로와 조인트 임베딩 경로의 분기
04:17Intelligence is a Cake자기지도·지도·강화학습의 역할 구분
05:15The Rise of Generative AIGPT-1과 언어 자기지도학습의 성공
08:00Blurry Images비디오 다음 프레임 생성의 실패
08:54Hudson River Trading스폰서 구간, 기술 분석에서 제외
11:16But why so Blurry?출력 공간과 불확실성 평균화 설명
13:30Do models need to be generative?생성에서 내부 표현으로 관점 전환
15:16Siamese Networks생성 없는 표현 학습의 기원
17:53Representation Collapse조인트 임베딩의 자명한 해
19:54Barlow Twins중복 감소와 단위행렬 손실
27:22DINO비전 자기지도학습의 성능 도약
28:58JEPA & World Models표현 예측과 행동 조건부 계획
34:09But is JEPA good?LeWorldModel과 Part 2 예고
36:19Welch Labs Book도서 홍보 구간
핵심 수치와 영상 내 근거
항목 값 근거 위치
GPT-2 어휘 크기50,25700:12:00 화면
Full HD 프레임 경우의 수≈ 1015,000,00000:12:00 화면 계산
관측 가능한 우주의 원자 수≈ 108000:12:00 비교
GPT-1 사전학습 데이터도서 약 7,000권05:55 자막
GPT-1 SOTA 벤치마크9개06:17 자막·그래프
AlexNet ImageNet59.3%00:26:15·00:28:10
Barlow Twins 리니어 프로브73.2%00:26:15·00:28:10
ViT 지도학습88.6%00:28:10 그래프
DINOv3 자기지도학습88.4%00:28:10 그래프
LeCun의 자금 조달 규모10억 달러00:08 자막·영상 프레이밍
2022 포지션 페이퍼약 60쪽29:06 자막
청소년 운전 습득 예시약 20시간29:36 인터뷰
Method & source notes

읽는 법과 출처

이 글은 독립적인 실험 재현 보고서가 아니라 Welch Labs 영상의 논증을 구조화하고 실무적 함의를 덧붙인 분석 기사다. 영상에는 수동 자막이 없어 영어 자동 생성 자막을 1차 근거로 사용하고, 한국어 자동 번역 자막은 보조 대조에만 사용했다. 한국어 자막은 원어 대비 분량 손실이 커 기술 용어 확인에는 사용하지 않았다.

JEPA, VICReg, Stéphane Deny, Barlow Twins 등 자동 자막에서 오인식된 고유명사는 영상 화면과 논문 표기를 우선했다. 숫자와 수식 역시 프레임에서 판독 가능한 항목을 중심으로 기재했다. 08:54–11:16의 스폰서 구간과 36:19 이후 도서 홍보는 기술 장면 선정에서 제외했다.

  1. 주 영상: Welch Labs, “Yann LeCun's $1B Bet Against LLMs [Part 1]” , 게시일 2026-05-02, 37:24.
  2. 후속편: “Yann LeCun's $1B Bet Against LLMs [Part 2]” .
  3. H. B. Barlow, “Possible Principles Underlying the Transformations of Sensory Messages,” 1961. Barlow Twins의 중복 감소 논리를 설명하는 역사적 출발점으로 영상에 제시된다.
  4. DINOv3, arXiv:2508.10104, 2025-08-13. 영상은 자기지도 비전 모델이 지도학습 모델과 대등한 ImageNet 성능에 도달한 사례로 인용한다.
  5. Yann LeCun, “A Path Towards Autonomous Machine Intelligence,” 2022. 지각·월드 모델·기억·행위자·비용 모듈을 포함한 자율지능 아키텍처의 근거다.
  6. Meta AI, V-JEPA 연구 페이지 .
  7. LeCun 외, CNN 관련 1989년 논문 .
  8. LeCun 외, LeNet-5 관련 1998년 논문 .
  9. 영상 내 감사 표기: Yann LeCun, Stéphane Deny, David Fan, Nicolas Ballas.

독자에게 남는 질문

JEPA의 가장 강한 주장은 “LLM은 끝났다”가 아니다. 지능을 만드는 학습 목표가 관측의 모든 세부사항을 재생하는 일이어야 하는지, 아니면 행동의 결과를 예측하는 데 필요한 구조를 보존하는 일이어야 하는지 다시 묻는 데 있다. DINOv3는 표현 학습의 가능성을 보여줬지만, 계획 가능한 월드 모델의 우월성은 아직 검증 중이다. 따라서 다음에 확인할 것은 더 선명한 데모가 아니라 장기 예측 오차, 과업 성공률, 데이터 효율, 안전 제약 아래의 계획 성능이다.

한 문장으로 끝내기

생성형 AI가 “다음에 무엇이 보일까?”를 묻는다면, JEPA는 “다음에 무엇이 중요하게 달라질까, 그리고 내가 무엇을 하면 목표에 도달할까?”를 묻는다.

#AI #JEPA #WorldModel #SelfSupervisedLearning #JointEmbedding #YannLeCun #DINOv3 #BarlowTwins