더 똑똑한 모델 다음에 남는 질문
이 노트를 관통하는 질문은 “AI가 얼마나 높은 점수를 받는가”에서 “실제 업무를 얼마나 끝내는가”로의 이동. 벤치마크 성능, 에이전트 사용량, AI 투자 규모의 상승을 보여주는 장면 사이로 완주 신뢰성·검증 비용·운영 조건이라는 공통 과제가 드러남.
연구에서는 하네스와 장기 과제, 산업에서는 가격 하락과 사용 확대, 정책에서는 컴퓨트 확보와 지역 수용성, 안전에서는 행동 전체의 관측이 핵심 쟁점. 2027년 전망은 이러한 변화의 연장선에 놓인 가설로 읽을 필요.
점수와 완주는 다름
노트의 FrontierChallenge 사례는 평균 87.9점과 과제 완주율 20.6%를 함께 제시. 실제 도입 평가에 필요한 것은 성공 조건까지 충족한 결과.
평가의 간극 읽기 →하네스도 성능의 일부
같은 모델도 도구·메모리·작업 흐름에 따라 성능과 보안 결과가 달라짐. 평가 단위를 모델과 실행 환경의 조합으로 확장할 필요.
에이전트의 단위 읽기 →싸지는 지능, 커지는 기반
동일 성능의 가격 하락과 매출·설비투자 확대가 동시에 등장. 전력·지역 수용성·국가별 접근성이 기술 경쟁의 조건으로 부상.
비용과 산업 읽기 →벤치마크는 포화,
업무는 미완성
연구 · 프런티어 경쟁
00:01:04–00:03:11
높은 정답률이 장기 과제의 성공을 보장하지는 않음. 보고서 해설에서 가장 실용적인 긴장은 성능 순위와 실제 업무 완주 사이에 있음.
세 연구소의 경쟁, 서로 다른 순위표
보고서 주장노트에 옮겨진 Artificial Analysis Intelligence Index는 Claude Opus 5.5를 58, GPT-6 Astra와 Gemini 4 Argon을 53으로 제시. Arena에서는 Argon이 1525로 선두. 같은 “최상위”라도 평가 지표에 따라 순서가 달라지는 구성.
Muse Spark 1.3, Grok 4.7과 중국 오픈웨이트 모델인 MiMo-V2.6-Pro, Qwen3.8 Max, GLM-5.3, Kimi K3가 뒤를 잇는 것으로 정리됨. 진행자들은 Meta의 인재 영입·GPU 확보와 Mistral·Cohere의 순위 부재를 연결하며 스케일의 중요성을 강조.
몇 년을 기대한 평가가 몇 달 만에 천장에 도달
보고서 주장AIME 100%, GPQA Diamond 95.8%, FrontierMath Tier 1–3 93.7%. ARC-AGI-2는 11개월 동안 18%에서 95%로 상승했다고 기록됨. 동시에 해당 과제의 비용은 $7.14에서 $1.12로 하락하고, GPT-6.1 Sol은 94.2%를 $0.25에 달성한 것으로 소개됨.
Artificial Analysis가 변별력 저하를 이유로 MMLU-Pro·AIME 2025·LiveCodeBench를 지표에서 제외했다는 설명도 등장. 진행자들이 말하는 “벤치마크의 역설”은 성능 향상이 기존 측정 도구의 유용성을 빠르게 떨어뜨린다는 점.
| 평가 / 모델 | 부분 성과 지표 | 완주·기준 통과 지표 |
|---|---|---|
| FrontierChallenge GPT-5.6 Sol |
평균 87.9점 | 과제 완주 20.6% |
| EarthVerse | 정답률 82.1% | 95% 기준 통과 34.8% |
| OSWorld 2.0 Claude Opus 5 |
부분점수 77.7% | 완주 44.3% |
점수·정답률·완주율은 분모와 판정 기준이 다를 수 있음. 숫자 간 차이를 곧바로 실패율로 해석해서는 안 됨.
잘 푸는 능력에서,
이 글의 편집 요약 · 진행자의 직접 인용 아님
끝까지 해내는 능력으로.
모델 바깥에서
결정되는 성능
하네스 · 업무 도입 · R&D
00:04:40–00:07:21
모델이 같아도 에이전트의 결과는 달라짐. 도구 호출, 문맥 관리, 메모리, 작업 흐름을 조직하는 하네스가 성능을 좌우하는 별도의 설계 대상.
보고서 주장SWE-Bench Mobile에서는 하네스 변경만으로 6배 향상이 제시됨. TerminalBench-2의 Meta-Harness 사례는 Haiku 4.5를 27.5%에서 37.6%로 높였고, GLM-5.1은 하네스에 따라 52.5%에서 65.5%의 차이를 보인 것으로 기록됨. 슬라이드는 하네스 분산이 모델 분산의 7.8배라고 설명.
모델과 버전
권한·작업 흐름
예외·환경 변화
안전·인간 개입
개발 도구에서 조직의 업무 도구로
현실 세계에서
더 무거워지는 검증
로보틱스 · AI 신약
00:08:18–00:09:56
로봇과 신약은 같은 질문을 더 엄격하게 제기함. 학습 규모 확대와 후보 발견의 진전이 실제 환경의 성공으로 이어졌는가.
로보틱스의 “GPT-2 모먼트”
보고서 주장Skild S1은 사전학습 1천 시간에서 거의 0%였던 미지 과제 성공률이 10만 시간에서 66%로 상승. Sunday Robotics는 사전학습 규모 확대에 따라 학습 범위 내 환경과 처음 보는 가정 환경 사이의 격차가 82%에서 약 0%로 줄어든 것으로 소개됨.
진행자 해석이를 인컨텍스트 러닝이 나타난 “GPT-3 모먼트”로 보기는 이르다는 평가. 시연을 따라 하도록 학습한 로봇에서, 사전학습 규모와 일반화의 관계를 보여준 단계라는 구분.
신약 발견의 속도와 임상 성공은 별개의 성과
보고서 주장AI 우선 신약 개발에서 두 프로그램이 임상 3상에 도달했으며, 주요 완료 시점은 2028–2029년으로 제시됨. 화면에는 Generate Biomedicines의 GB-0895, Insilico의 rentosertib, Enveda의 ENV-294, Recursion의 REC-4881, Iambic의 IAM1363 등 프로그램별 AI 역할과 임상 단계가 정리됨.
진행자 해석AI의 주된 기여는 검증 가능한 발견 후보를 좁혀 탐색 비용을 줄이는 데 있다는 설명. 후보를 만드는 능력이 좋아질수록 실험·시뮬레이션 등 검증 수단이 병목으로 남을 수 있다는 논의로 이어짐.
지능은 싸지고,
시장은 커지는가
비용 · 매출 · 소프트웨어
00:13:45–00:20:57
가격 하락과 매출 성장은 함께 나타날 수 있음. 다만 단가, 사용량, 연환산 매출, 기업가치는 서로 다른 층위의 지표.
동일 성능의 가격, 분기마다 약 47% 하락
보고서 주장노트는 Epoch AI 분석을 인용한 슬라이드에서 동일 성능의 가격이 분기당 약 47%, 연간 약 13배 낮아진다고 기록. 전기·리튬 배터리·DNA 시퀀싱·컴퓨트의 비용 곡선과 비교하며 매우 빠른 하락 속도를 강조함.
매출 성장의 해석에는 단위와 시점이 필요
진행자 해석지능이 싸질수록 사용이 늘고, 그 수요 확대가 매출 증가와 높은 기업가치 기대를 뒷받침한다는 설명. 추론 마진 약 80%, 상장 가치 1–2조 달러에 대한 논의도 등장하지만, 노트에서 별도 출처가 확인되지 않는 발언으로 분리할 필요.
위 매출은 연환산 매출(run rate)로 기록된 값이며 실제 한 해 동안 인식한 매출과 구분해야 함. 두 회사의 개별 수치는 기준 월도 달라, 동일 시점의 확정 실적 합계로 읽기 어려움.
노트에 기록된 75백분위 성장률
Standard Metrics 인용 슬라이드
진행자 해석SaaS의 위협은 고객이 필요한 도구를 직접 만들 수 있다는 데서 출발. 그러나 라이브 채팅이 짚은 “만들 수 있음”과 “서비스 수준으로 운영할 수 있음”의 차이에 진행자들도 동의. 소프트웨어의 가치를 구현 속도만으로 설명하기 어렵다는 쟁점.
‘SaaSpocalypse’는 영상·보고서에서 소개된 서사. 제품 출시와 시장 변동의 시간적 일치만으로 시가총액 변화의 인과관계가 확정되지는 않음.
거대한 투자,
지역의 문턱
설비투자 · 컴퓨트 · NIMBY
00:23:32–00:26:13
디지털 지능의 확장은 물리적 설비와 연결됨. 예산과 GPU 확보뿐 아니라 전력·용수·소음·지역 수용성이 실제 배포의 조건으로 등장.
보고서 주장클라우드 7사의 설비투자(CapEx) 중 AI 비중은 2020년 6%에서 2026년 추정치 64%, 약 $563B로 확대. 별도의 5대 하이퍼스케일러 집계에서는 2027년부터 연간 총 CapEx가 $1T를 넘어설 것으로 전망됨.
진행자 해석지역 반대의 배경으로 일자리 불안과 전기요금·소음·용수 문제가 제시됨. 데이터센터가 지역 경제를 살린다는 CEO 발언 역시 이해관계를 가진 관점으로 읽어야 한다는 논의. 한편 GPU가 다음 해 물량까지 예약됐다는 설명, xAI와 SpaceX의 합병 및 매출 비교에 관한 언급은 원자료를 재확인하지 않은 진행자 발언임.
소버린 AI,
그리고 한국의 자리
접근성 · 국가 예산 · 수요 조성
00:29:03–00:30:56
소버린 AI를 추진하는 이유는 자국 모델의 성능 순위만으로 설명되지 않음. 외부 서비스에 대한 접근이 끊길 때도 핵심 역량을 유지할 수 있는가라는 문제.
보고서 주장CNAS 집계를 인용한 화면은 미국·중국 외 67개국에서 184개의 정부 지원 프로젝트가 진행 중이며, 2023년에는 18개였다고 소개. 공개 예산 합계 $84B 중 UAE와 일본이 약 3분의 2를 차지하는 것으로 기록됨.
한국: 자금 공급과 첫 고객을 함께 설계
한국을 다룬 페이지는 국내 모델, 2026년 AI 예산 9.9조 원, 2028년까지 GPU 5만 장, 무료 AI 서비스, 정부의 첫 고객 역할, 지역 반대를 함께 제시. 모델 공급만이 아니라 국내에서 사용할 시장을 만드는 접근으로 읽힘.
이 글의 시사점정부가 첫 고객이 되는 구조의 평가는 예산 규모와 별개로 필요. 실제 공공 수요가 지속적인 사용, 서비스 개선, 민간 수요 확대로 이어지는지 관찰할 과제.
성능을 키운 구조가
위험도 바꾼다
사이버 평가 · 봉쇄 · 모니터링
00:31:27–00:33:02
에이전트의 안전 역시 모델 단독의 속성으로 보기 어려움. 도구와 권한, 실행 환경, 감시 범위를 포함한 전체 구성이 평가 대상.
관측 가능한 말과 실제 행동을 함께 보기
CoT(Chain of Thought)는 이 문맥에서 모델의 추론 기록을 뜻함. 진행자들은 감시를 인지한 모델이 신호를 숨길 가능성을 논의하며 추론 기록의 중요성과 취약성을 동시에 강조.
이 글의 시사점이 논의를 도입 평가에 적용한다면, 모델이 남긴 설명뿐 아니라 도구 호출, 외부 접근, 파일 변경, 권한 사용, 결과물을 함께 살피는 방향. 앞서 성능에서 등장한 하네스가 안전에서도 핵심 설계 지점으로 돌아옴.
라이브 채팅에 등장한 특정 기업의 공개 비판 관련 언급은 제3자의 전언. 이 글에서는 확인된 사건의 근거로 사용하지 않음.
2027년을 향한
아홉 개의 가설
예측 채점 · 다음 12개월 · AGI
00:35:46–00:43:42
예측을 읽는 첫 단계는 지난 예측의 오차를 보는 것. 다음 단계는 무엇이 일어나야 적중이라고 부를지 정의하는 것.
| 번호 | 보고서 예측의 요지 | 진행자 반응 · 자막 기반 |
|---|---|---|
| 01 | Visa·Mastercard가 AI 에이전트 구매 분쟁의 책임 규칙 도입 | 다음 해에 일어날 것으로 예상. |
| 02 | 모델 업그레이드 없이 한 달 업무 후 실패율 절반 달성 | 조건이 느슨해 지금도 가능할 수 있다는 반응. |
| 03 | 규제기관이 개인 투자자 AI 에이전트의 상관 주문을 이상 주가의 원인으로 지목 | 의견이 갈림. 1년 안에는 어렵다는 쪽이 우세. |
| 04 | AI 주도 사이버 공격으로 프런티어 모델 가중치 탈취 | 외부 공격보다 휴먼 에러나 에이전트 자체 유출 가능성에 무게. |
| 05 | 미국 한 주가 에이전트의 취소·청구를 수용하도록 하는 법 통과 | 일어날 것으로 예상하며 캘리포니아를 거론. |
| 06 | 자율 AI 팀이 연구 의제를 정하고 인간 주도 연구를 능가 | 일어날 것으로 예상. |
| 07 | 배포된 에이전트가 환경 밖에 자신을 복제하고 원본 종료 후에도 작동 | 한 진행자는 실제 발생 가능성을 긍정적으로 봄. |
| 08 | 미국 랩이 프런티어 사이버 방어 제품을 공식 출시 | Astra 사이버 모드 등을 언급하며 일부 진행 중이라고 해석. |
| 09 | AGI 2027. | 두 진행자 모두 2027–2029년 사이의 가능성을 긍정적으로 평가. |
마지막 한 줄에 빠져 있는 것: AGI의 정의
노트에 따르면 보고서의 마지막 예측은 “AGI 2027.”이라는 한 줄이며 별도 정의가 제시되지 않음. 진행자들은 각자 다른 판정 기준을 이야기함.
JB의 기준 · 자신이 잘하는 일의 추월
자신이 잘한다고 생각하는 모든 것을 AI가 더 잘할 때. 예로, 사람 없이 AI가 만든 영상과 자신의 영상이 조회수 경쟁을 벌였을 때 패배하는 상황을 제시.
다른 진행자의 기준 · 경제적 자율성
스스로 돈을 벌고 스스로를 배포할 수 있을 때. 결과물의 우수성뿐 아니라 수익 창출과 운영을 지속하는 자율성에 초점.
2027년을 맞히기보다,
지금 무엇을 측정할 것인가
이 노트에서 얻을 수 있는 실무적 메시지는 평가의 단위를 넓히는 것. 점수에서 완주로, 모델에서 하네스까지, 단가에서 검증·운영 비용까지 시야를 확장할 필요.
연구·평가 설계
부분점수와 과제 완주를 분리해 보고. 장기 과제에서는 성공 조건, 재시도, 인간 개입, 실패 복구를 함께 기록. 높은 평균이 반복되는 치명적 실패를 가리지 않는지 확인.
에이전트·로봇 도입
모델과 하네스 버전을 함께 관리. 메모리·계획·도구 권한의 변화가 결과에 미치는 영향을 확인하고, 추론 기록과 실제 실행 흔적을 함께 관측.
산업·정책 판단
성장 배수와 절대 규모, 공약과 집행, 국가 예산과 기업 CapEx를 구분. 한국의 공공 수요 조성이 지속 사용과 서비스 개선으로 이어지는지 확인.
- 과제가 끝났다고 판단할 조건을 정의했는가
- 모델·하네스·환경을 함께 기록했는가
- 검증 비용과 인간 개입까지 포함했는가
- 권한 경계와 실제 행동을 관측할 수 있는가
무엇을 근거로 읽었는가
State of AI Report 슬라이드 sudoremove 해설 영상 자동 자막·화면 캡처 기반 Obsidian 노트 이 글의 주제별 재구성
원자료로 가는 링크
-
원영상
State of AI Report 2026, 올해 AI 1년 총정리 · sudoremove ↗
제공된 노트 기준 게시일 2026년 11월 1일, 길이 48:34, 출연 JB·JC. 각 이미지의 링크는 해당 시점으로 연결됨. -
원문 보고서 확인 경로
State of AI Report 공식 사이트 ↗
화면 표지에는 Nathan Benaich · Air Street Capital · 2026년 10월 8일로 표기됐다고 노트에 기록. 이 글에서 사이트나 원문 PDF를 열어 대조하지는 않음. -
이 글의 직접 입력 자료
사용자가 제공한 Obsidian Markdown 노트와 30개 장면 이미지. 시간순 메모를 여덟 개 주제로 재배열하고, 반복 요약을 통합함.
해석에 남겨둔 한계
- 자동 자막: 수동 자막이 없어 ko-orig 사용. 고유명사 인식 오류를 의미 단위로 정리한 노트이므로 발언은 축어 인용으로 취급하지 않음.
- 화면 해상도: 노트에 따르면 1080p 스트림 접근이 403으로 차단돼 360p(format 18, mweb 클라이언트)에서 캡처. 작은 글씨와 수치 판독에 한계.
- 독립 검증 없음: 모델 순위, 기업 매출, 임상 단계, 정책 예산, 사이버 사건은 원자료와 교차 검증하지 않음. 전망과 추정치는 실현된 결과와 구분.
- 출처 없는 전언: 추론 마진 80%, 빅테크의 내부 차세대 모델 사용 등은 진행자 발언으로만 기록. 별도의 근거로 확정하지 않음.
보고서 주장노트에 전사된 슬라이드 내용 진행자 해석대화·자동 자막의 요지 이 글의 시사점제공 자료를 바탕으로 한 편집적 해석