01 / THE ECONOMIC QUESTION영상 00:00부터 ↗

추론의 경제학은
칩 바깥에서 시작된다

강의의 출발점은 산업의 관심이 이동하고 있다는 관찰이다. 모델이 얼마나 똑똑해졌는지만큼, 그 모델을 얼마의 비용으로 서비스할 수 있는가가 중요해졌다. 데이터센터, 전력, 반도체와 서빙 소프트웨어는 이 질문의 서로 다른 층위다.

노정석은 가치가 인프라와 애플리케이션 양쪽으로 이동하고 있다고 설정한다. 영상에서 거론한 급격한 토큰 사용량 증가와 데이터센터 전력 확보의 어려움은, 수요가 늘어도 연산 자원을 즉시 공급하기는 어렵다는 배경을 만든다.

발표자의 경제 해석: 매출 10배, compute 3배

영상은 Anthropic의 매출이 연 10배, compute가 연 3배 증가한다는 수치를 제시하고, 두 성장 배율의 비율인 약 3.3에 주목한다. 마진 확대와 training·inference 비중 조정의 여지가 작다면 compute 가격 상승 압력이 커진다는 논리다.

읽을 때의 조건: 이 수치와 마진 추정은 독립 검증하지 않았다. 매출과 compute 사이에는 가격, 제품 구성, 이용률, 효율 개선 등이 개입하므로, 3.3이라는 비율만으로 단가 상승이 필연적이라고 결론 내릴 수는 없다.

제품 설계도 “어떤 제약을 풀 것인가”의 문제

HyperAccel의 Bertha는 이 관점을 보여주는 사례로 소개된다. 발표자는 HBM 대신 LPDDR을 사용해 메모리 용량·가격·전력을 겨냥했다고 설명한다. 절대 대역폭이 낮아도 높은 활용률과 목표 시장의 요구를 함께 보면 다른 선택이 가능하다는 주장이다.

Bertha · 영상에서 소개한 제조사 측 수치
항목설명읽기의 조건
메모리LPDDR · 칩당 192 GBHBM 대신 용량·가격·전력의 균형을 선택
대역폭546 GB/s이론 대역폭과 실제 서비스 성능은 구분 필요
활용률90% 이상이라는 설명독립 벤치마크와 측정 조건 미확인
목표 가격약 5,000달러발표상 목표이며 실판매가 확인 아님
공정·진행Samsung 4nm, 2026년 3월 말 출시 및 bring-up 진행 언급영상 시점의 제조사 설명

특정 칩의 우열을 확정하는 표가 아니다. 이 사례의 핵심은 추론 시장에서도 성능·용량·가격·전력의 우선순위가 서비스마다 달라진다는 점이다.

02 / TWO WORKLOADS영상 15:01부터 ↗

첫 토큰까지의 시간과
그다음 토큰까지의 시간

LLM은 입력을 읽고 답을 생성한다. 사용자에게는 하나의 연속된 동작이지만, 하드웨어 관점에서는 prefill과 decode라는 성격이 다른 두 구간으로 나뉜다.

STAGE 01

Prefill

입력 토큰을 병렬 처리하고
첫 출력 토큰을 준비한다.

Istomatoafruit?
STAGE 02

Decode

앞에서 생성한 결과를 이어받아
다음 토큰을 순차 생성한다.

Yes→it→is→ …
그림 1. 자막 설명을 바탕으로 재구성한 추론 흐름. 입력의 네 토큰 구분은 설명을 위한 가정이며 실제 토크나이저 결과를 뜻하지 않는다.
구분PrefillDecode
주요 작업입력 맥락 처리와 KV 생성이전 KV를 사용한 다음 토큰 생성
병렬화다수 입력 토큰을 함께 처리한 요청 안의 출력 생성은 순차 의존
체감 지표TTFT · 첫 토큰까지 걸리는 시간TBT / TPOT · 토큰 사이 시간 / 출력 토큰당 시간
대표적 병목큰 입력의 주요 행렬 곱은 연산에 제약받기 쉬움낮은 batch와 긴 맥락에서는 메모리에 제약받기 쉬움

Transformer 안에서도 일이 나뉜다

Attention은 토큰 사이의 관계를 계산하고, FFN은 각 토큰의 표현을 변환한다. 강의는 dense 모델에서 파라미터 비중을 attention 약 20%, FFN 약 80%로 설명한다. 이는 구조를 이해하기 위한 예시이며, 모델 설계에 따라 비중은 달라진다. MoE에서는 FFN에 여러 expert가 배치된다.

Decode에서 다음 토큰을 계산하려면 이전 토큰들의 Key와 Value가 필요하다. 이를 매번 다시 계산하지 않고 저장해 두는 것이 KV cache다. 다음 단계에는 새로운 Query가 만들어지므로, 과거 Query까지 같은 방식으로 보관할 필요는 없다.

“Prefill은 연산, decode는 메모리”는 출발점이다

전체 추론을 항상 둘 중 하나로 고정 분류하는 법칙은 아니다. 실제 병목은 batch 크기, 문맥 길이, attention 구조, 정밀도, 커널 구현과 하드웨어에 따라 달라진다.

03 / THE MEMORY BILL영상 26:32부터 ↗

문맥이 길어지면,
기억이 모델보다 커진다

모델을 메모리에 올렸다고 서빙 준비가 끝나는 것은 아니다. 요청마다 생성되는 KV cache도 공간을 차지한다. 같은 모델을 사용하는 요청들은 가중치를 공유할 수 있지만, 서로 다른 문맥의 KV는 대체로 별도로 유지해야 한다.

KV CACHE / 일반적인 비압축 저장의 크기 토큰당 KV 크기 = 2 × 레이어 수 × KV head 수 × head 차원 × 원소당 byte 전체 KV 크기 ≈ 토큰당 KV 크기 × 유지 중인 토큰 수의 합 앞의 2는 Key와 Value를 뜻한다. 실제 할당량에는 블록 여유 공간, 메타데이터 등이 더해질 수 있으며, 공유·압축·분산 방식에 따라 장치별 점유량이 달라진다.
320KiB / token

Llama 3.1 70B · BF16
원노트의 “약 320 KB” 예시

40GiB / 요청

같은 조건에서 128K context
128K = 131,072토큰으로 계산

이 예시에서 문맥 길이를 유지한 채 동시 요청을 늘리면 KV 점유도 함께 늘어난다. 가중치가 약 141 GB라는 원노트의 조건을 적용하면, 공유나 압축이 없는 단일 요청도 약 43만 토큰 부근에서 KV 크기가 가중치 크기와 비슷해진다. 요청이 여러 개라면 그 교차점에 훨씬 빨리 도달한다.

단위 안내: 원노트는 KB·GB를 근삿값으로 사용했다. 위 두 숫자는 계산 의미를 명확히 하기 위해 KiB·GiB로 표기했다. 40 GiB는 약 42.95 GB다. 실제 장치 수를 산정할 때는 모델 가중치와 실행용 메모리도 포함해야 한다.

용량 문제에 대응하는 다섯 방향

방법줄이는 대상확인할 절충
작은 모델구조에 따라 가중치와 KV의 기본 규모원하는 작업의 품질 유지 여부
양자화가중치 또는 KV 원소당 byte둘은 별도 선택이며 정확도·커널 지원 확인 필요
GQA · MQA · MLAKV head 수 또는 저장 표현의 크기모델 아키텍처와 구현에 의존
Sliding windowattention이 유지·참조하는 범위장거리 정보 처리와 full attention 혼합 방식
계층 오프로드고가의 장치 메모리에 상주하는 양전체 저장량보다 위치를 바꾸며 복원 지연이 발생

여기에 prefix caching이 더해진다. 같은 system prompt나 tool 설명처럼 실제로 재사용 가능한 앞부분의 KV를 공유하면 중복 계산과 저장을 줄일 수 있다. 다만 모든 사용자의 전체 문맥을 공유할 수 있다는 뜻은 아니다.

04 / A FRAMEWORK FOR BOTTLENECKS영상 35:01부터 ↗

연산기를 더 넣기 전에,
데이터가 도착하는지 보라

연산 능력이 아무리 높아도 메모리가 데이터를 충분히 공급하지 못하면 연산기는 기다린다. 반대로 데이터가 충분히 들어와도 연산 능력이 부족하면 계산이 밀린다. Roofline은 이 두 한계를 하나의 그림에 올리는 분석 틀이다.

그림의 가로축은 arithmetic intensity, 산술 강도다. 선택한 메모리 계층에서 이동한 데이터 1byte당 수행하는 연산량을 뜻하며, 보통 FLOP/byte로 표시한다. 같은 데이터를 여러 번 활용할수록 오른쪽으로 이동한다.

ROOFLINE / 단순 모델 도달 가능한 성능 ≤ min(최대 연산 성능, 메모리 대역폭 × 산술 강도) Ridge point = 최대 연산 성능 ÷ 메모리 대역폭 강의의 H100 BF16 근삿값: 1,000 TFLOP/s ÷ 3.35 TB/s ≈ 300 FLOP/byte. 동일한 정밀도·연산 집계 기준으로 비교해야 한다.
그림 2. 원본 슬라이드가 아닌 Roofline 개념도. 선은 단순 모델의 성능 상한을 나타낸다. 실제 커널 성능은 통신, 실행 오버헤드, 이용률 등으로 더 낮아질 수 있다.

대역폭을 높이면 경사 구간이 위로 올라가고 ridge point는 왼쪽으로 이동한다. 연산 능력만 높이면 수평선이 올라간다. 어떤 개선이 효과적인지는 현재 작업이 어느 영역에 있는가에 달려 있다.

Batching은 재사용을 늘린다. 다만 모든 연산에서 같지는 않다

QKV를 만드는 선형 연산과 FFN은 여러 요청이 같은 가중치를 사용한다. 요청을 묶으면 한 번 읽은 가중치로 더 많은 토큰을 처리할 수 있다. 강의가 decode를 “오른쪽으로 민다”고 표현하는 이유다.

Attention에서는 사정이 다르다. 각 요청의 Query가 참조하는 KV는 요청마다 다르므로, batch만 늘려서는 가중치 행렬 곱과 같은 재사용 이득을 얻기 어렵다. 긴 문맥에서는 이 KV 읽기가 큰 부담이 된다.

원노트의 “AI ≈ 1”은 직관을 위한 단순화다

정확한 FLOP/byte는 자료형, 연산량 집계, head 구성, 캐시 재사용과 커널 구현에 따라 달라진다. GQA·MQA는 여러 Query head가 KV를 공유하도록 하고, MLA는 저장 표현을 압축한다. KV 양자화는 같은 데이터를 더 적은 byte로 읽도록 한다.

강의는 메모리 접근을 줄이는 일이 전력 효율에도 중요하다고 강조한다. 다만 원노트의 “연산 대비 메모리 접근 에너지 4~5자릿수 차이”는 접근 계층·공정·전송량 등의 조건이 확인되지 않아 보편적 비율로 사용하지 않는다.

05 / READING A BENCHMARK영상 51:33부터 ↗

초당 토큰 수 하나로는
좋은 서비스를 고를 수 없다

식당이 여러 주문을 한꺼번에 처리하면 전체 생산량은 늘어날 수 있다. 하지만 먼저 주문한 손님이 더 빨리 받는 것은 아니다. 강의의 맥모닝 비유는 추론 벤치마크에도 그대로 적용된다.

지표무엇을 묻는가의미
Interactivity한 사용자는 얼마나 빠르게 받는가?사용자당 초당 출력 토큰 수
Throughput시스템은 총 얼마나 많이 만드는가?전체 처리량. 강의에서는 GPU 수로 나눈 값도 사용
Goodput그중 서비스 목표를 충족한 양은 얼마인가?TTFT·토큰 간 지연 등 SLO를 만족하는 처리량

Batch를 키우면 가중치 재사용이 좋아지는 반면, 한 번의 처리에서 읽어야 할 KV도 늘어난다. 따라서 전체 처리량을 높이는 설정이 사용자당 응답 속도에는 불리할 수 있다. 이 절충을 보여주는 것이 Pareto curve다.

그림 3. Pareto curve를 읽는 방법을 보여주는 가상 예시. SemiAnalysis InferenceX의 실제 데이터나 원본 그래프를 재현한 것이 아니다.
비교 순서: 서비스 조건 → 가능한 구성 → 처리량과 비용

예를 들어 사용자당 초당 100토큰이 필요하다면, 그 요구를 충족하는 지점에서 처리량을 비교한다. 모델, 정밀도, 입력·출력 길이, TTFT, 하드웨어 수와 전력·임대비도 함께 맞춰야 경제성 비교가 된다.

강의에서 소개한 InferenceX의 점들은 parallelism 조합, batch 크기, vLLM·SGLang 같은 소프트웨어 구성을 바꾼 실험 결과로 설명된다. 곡선이 교차할 수 있다는 사실은 중요하다. 한 조건에서 좋은 칩이나 스택이 모든 조건에서 좋은 것은 아니다.

06 / FIVE SERVING TECHNIQUES영상 01:00:51부터 ↗

서빙 최적화는
빈틈과 간섭을 줄이는 일이다

강의 후반의 기법들은 서로 다른 비용을 줄인다. 어떤 것은 빈 연산 슬롯을 채우고, 어떤 것은 메모리 낭비를 줄이며, 또 어떤 것은 긴 입력이 진행 중인 답변을 방해하지 않도록 만든다.

01

Continuous batching · 끝난 자리에 새 요청 넣기

Static batching에서는 함께 시작한 요청 중 가장 긴 요청이 끝날 때까지 빈자리를 활용하기 어렵다. Continuous batching은 토큰 생성 iteration마다 다시 스케줄링해, 끝난 요청의 자리에 대기 요청을 넣는다.

요청 A 종료 → 다음 iteration에서 요청 E 투입 → 진행 중인 B·C·D와 함께 처리

강의는 Orca 연구를 이 개념의 출발점으로 소개한다. Prefill과 decode의 선형 연산은 같은 가중치를 사용하므로 함께 묶을 수 있지만, attention 처리는 각 요청의 형태를 고려해야 한다.

02

PagedAttention · 필요한 만큼 KV 공간 할당하기

출력이 어디까지 길어질지 모르기 때문에 요청마다 최대 길이만큼 공간을 미리 확보하면 낭비가 커진다. PagedAttention은 OS의 가상 메모리와 비슷하게 논리 블록과 물리 블록을 연결해 KV를 관리한다.

논리 블록 0 → 물리 블록 7 · 가득 참
논리 블록 1 → 물리 블록 1 · 일부 사용
더 긴 출력이 생기면 → 다음 블록 할당

예약 낭비와 단편화를 줄이지만 메모리 한계를 없애지는 않는다. 동시 요청이 모두 길어지면 선점, 오프로드 또는 재계산 같은 별도 정책이 필요하다.

03

Chunked prefill · 긴 입력을 나눠 처리하기

긴 prefill을 통째로 처리하면 함께 서비스하던 decode가 오래 기다릴 수 있다. 입력을 여러 chunk로 나누면 토큰 사이 지연을 관리하면서 새 요청을 처리할 수 있다.

강의에서 제시한 우선순위
진행 중 decode → 남은 prefill chunk → 신규 요청

TTFT 일부를 양보해 TBT를 안정시키는 선택이다. Chunk 크기와 실제 우선순위는 엔진·설정에 따라 달라지며, 사용자가 느끼는 모든 멈칫거림을 이 기법 하나로 설명할 수는 없다.

04

Speculative decoding · 먼저 제안하고 함께 검증하기

작은 draft 모델 등이 여러 토큰을 빠르게 제안하면, 원본 모델이 이를 묶어 검증한다. 받아들여진 구간만큼 한 번에 전진할 수 있어, 요청 수를 늘리지 않고도 원본 모델의 연산을 더 잘 활용할 여지가 생긴다.

Draft가 여러 토큰 제안 → 원본 모델의 병렬 검증 → 수락된 접두 구간과 보정 결과 반영 → 반복

이득은 제안 비용, 수락률, 검증 길이와 시스템 부하에 달려 있다. 원노트는 중간 layer를 활용하는 방식, EAGLE-3, DSpark를 언급하지만 개별 구현은 대조하지 않았다.

품질 구분: 적절한 수락·보정 절차로 원본 분포를 보존하는 방식과 품질을 일부 양보하는 근사 방식은 구분해야 한다. 추측 디코딩 자체가 반드시 품질 희생을 뜻하지는 않는다.

05

PD disaggregation · 입력 처리와 생성을 분리하기

Prefill pool과 decode pool을 나누고, prefill에서 만든 KV를 decode 쪽으로 전달한다. 두 작업의 간섭을 줄이고 각각의 요구에 맞춰 자원을 배치하는 전략이다.

Prefill pool → KV 전송 → Decode pool

강의는 Splitwise를 관련 선행 연구로 소개하며 SLO를 만족하는 goodput 개선을 강조한다. 다만 raw throughput이 항상 같다는 법칙은 아니다. KV 전송 비용과 자원 배치에 따라 전체 성능도 달라진다.

PD 분리의 효과를 판단할 조건
분리의 이점을 기대할 조건효과를 제한하는 조건
긴 입력과 짧은 출력으로 prefill 간섭이 큰 경우규모가 작아 pool 분할의 여유가 적은 경우
TTFT·토큰 간 지연 목표가 엄격한 경우KV 전송에 쓰는 interconnect가 느린 경우
충분한 규모와 빠른 장치 간 연결을 갖춘 경우Chunked prefill만으로 목표를 충분히 맞추는 경우
07 / THE COST OF WAITING영상 01:23:33부터 ↗

에이전트 시대에는
사람의 대기 시간도 메모리 문제다

에이전트는 한 번 답하고 끝나지 않는다. 도구를 호출하고, 결과를 읽고, 다시 모델을 부른다. 사용자와 에이전트가 여러 번 왕복하는 동안 문맥은 이어지고, 호출마다 긴 공통 prefix가 다시 사용된다.

Session · 전체 작업Request · 사용자 요청Step · 모델 또는 도구 호출

강의는 2026년 6월 Copilot 사용 trace를 분석한 8월 발표 연구 등을 소개한다. 아래는 발표자가 구술한 값이며, 이 글에서 원논문의 표본·정의·집계 기준을 확인하지는 않았다.

영상에서 소개한 에이전트 워크로드 · 1차 자료 미대조
관측 항목발표 값읽을 수 있는 의미
Session 평균 길이62.6분한 번의 토큰 생성보다 작업 수명이 훨씬 길다
Session당 request약 9.2개사용자와 여러 차례 왕복한다
Request당 step약 9회한 요청이 여러 호출로 확장된다
AI가 시작한 LLM 호출약 90%사람이 직접 시작하는 호출은 일부다
호출당 읽는 prefix약 119,000토큰기존 문맥 읽기가 크다
새 입력 / 출력약 875 / 214토큰새로 더하는 내용은 prefix보다 훨씬 작다

원노트의 “session당 총 step 약 100회” 역시 별도 구술값이다. 평균값끼리 곱한 결과가 정확히 같은 통계량이 되는 것은 아니므로, 여기서는 하나의 확정 산식으로 묶지 않았다.

SESSION TIME / 영상의 시간 점유 설명
사람 약 92% Tool 4.8% LLM 3.3%
그림 4. 구술된 비율의 합이 반올림으로 100.1%여서 막대는 합계 100%에 맞춰 근사 표현했다. 이는 세션 시간의 구성이지 GPU 사용률이나 비용 비중이 아니다.
25분

사람이 다음 요청을 보내기까지의
대기 시간 중앙값으로 소개

40GB

그동안 점유하는 KV cache의
용량 중앙값으로 소개

이 두 숫자가 보여주는 질문은 명료하다. 사람이 결과를 검토하는 동안, 다음 호출을 빠르게 시작하려고 유지한 KV를 어디에 둘 것인가? 답변을 생성하지 않는 시간에도 비싼 장치 메모리를 점유한다면 다른 요청을 수용할 여지가 줄어든다.

“들고 있기 게임이네.”

노정석 · 에이전트 워크로드의 메모리 점유를 설명하는 대목, 제공된 노트에서 발췌

보관할지, 옮길지, 다시 계산할지

발표자는 KV를 5~10분 정도 유지한 뒤 내보내는 정책, 사용자가 곧 돌아올지 예측하는 가벼운 모델, CPU 메모리나 SSD로 옮겼다가 복원하는 방식을 소개한다. 이 시간은 모든 서비스에 적용되는 고정 TTL이 아니라 워크로드와 비용에 따라 정할 운영 정책으로 읽어야 한다.

MEMORY HIERARCHY / 복원 속도와 보관 비용의 균형
SRAM칩 가까이에서
활성 연산 지원
HBM빠른 접근이 필요한
활성 KV
DDR더 큰 용량에
대기 KV 보관
SSD / Flash더 먼 계층으로
오프로드

판단 변수: 복귀 가능성 · KV 크기 · 장치 여유 · 전송 시간 · 재계산 비용

그림 5. 강의의 계층형 메모리 논의를 개념적으로 정리했다. 모든 시스템이 네 계층을 전부 사용하거나 KV를 순서대로 이동시킨다는 뜻은 아니다.
평균만 맞추면 긴 꼬리에서 무너질 수 있다

강의는 일부 긴 세션과 큰 문맥이 전체 자원 수요에 큰 영향을 주는 heavy-tail 특성을 강조한다. 평균값뿐 아니라 긴 문맥, 긴 대기, 복귀 요청이 몰리는 상황을 함께 봐야 한다. 사용자 복귀 시에는 KV를 복원할 수도 있고 다시 계산할 수도 있으므로, eviction이 곧바로 재계산을 뜻하지는 않는다.

영상의 “비용 60%가 prefix 읽기에 쓰인다”, “재계산보다 다시 읽어오는 쪽이 대부분 유리하다”는 설명도 특정 분석 조건의 결과로 소개된 것이다. 실무에서는 네트워크·저장장치 속도와 복원 중 다른 연산을 겹칠 수 있는지까지 포함해 확인해야 한다.

08 / SPECIALIZATION WITHIN A MODEL영상 01:34:21부터 ↗

하나의 모델을
여러 종류의 칩이 나눠 맡는다면

Prefill과 decode가 다르고, decode 안에서도 attention과 FFN이 다르다면, 하나의 칩으로 모든 구간을 처리하는 것이 언제나 최선일까? 강의는 이종 컴퓨팅, heterogeneous computing을 다음 설계 방향으로 제시한다.

핵심은 브랜드가 아니라 Roofline의 모양이다. 산술 강도가 높은 작업에 강한 장치와, 낮은 산술 강도에서 빠르게 데이터를 공급하는 장치를 조합할 수 있다. 다만 작업을 나누는 이익이 장치 사이 통신 비용보다 커야 한다.

강의에서 제시한 GPU·LPU 분업 구상
작업담당 장치의 방향설계 논리
Prefill높은 연산 능력을 갖춘 GPU다수 입력 토큰의 병렬 연산 활용
Decode attentionKV를 수용할 메모리를 가진 GPU큰 문맥의 KV에 지속적으로 접근
Decode FFN낮은 산술 강도에 적합한 LPUKV 없이 가중치 기반 변환 수행

MoE에서는 expert마다 작은 batch를 본다

전체 요청이 많아도 MoE 라우팅으로 여러 expert에 나뉘면 expert 하나가 처리하는 토큰 수는 작아질 수 있다. FFN의 산술 강도가 충분히 높아지지 않는 상황에서는 낮은 산술 강도에 강한 장치를 조합할 여지가 생긴다는 것이 발표자의 설명이다.

이때 장치 사이에서 전체 KV를 옮길 필요 없이 해당 연산의 입력·출력 활성값을 주고받도록 설계할 수 있다. 원노트의 “token만 오간다”는 표현은 이런 데이터 흐름의 단순화를 뜻하며, 통신량이 토큰 ID 몇 개에 불과하다는 의미로 읽어서는 안 된다.

제품·거래에 관한 설명과 설계 원리는 구분한다

원노트는 NVIDIA의 Groq 인수, Rubin·LPX 분업, Groq의 SRAM 용량과 ridge point, OpenAI Jalapeño와 Bertha의 유사성을 언급한다. 이 글에서는 해당 거래·제품 발표·사양을 별도로 검증하지 않았으므로, 이를 확정된 시장 사실의 근거로 삼지 않고 발표자가 제시한 분업 논리에 초점을 맞췄다.

칩을 만드는 과정에서도 검증이 중요해진다

마지막 대화는 AI가 반도체 설계 자체를 얼마나 맡을 수 있는지로 이어진다. 이진원은 검증을 소프트웨어 도구로 결과를 확인할 수 있는 영역으로 보고, RTL 설계에는 하드웨어 제약을 이해하는 코드 생성이, 물리 구현에는 더 복잡한 최적화가 필요하다고 설명한다.

이는 구체적인 자동화 일정의 예측이라기보다, 측정 가능한 기준과 반복 가능한 검증 환경이 AI 활용의 기반이라는 관찰로 읽을 만하다.

09 / IMPLICATIONS기술에서 운영의 질문으로

그래서 무엇을 다르게
측정하고 설계해야 할까

이 회차의 가치는 최적화 기법 이름을 모두 외우게 하는 데 있지 않다. 서로 다른 기술이 어떤 비용을 줄이려고 등장했는지 연결해 주는 데 있다. 그 연결을 실제 의사결정으로 옮기면 다음 네 가지 질문이 남는다.

모델보다 먼저 서비스 조건을 적는다

입력·출력 길이, 동시 요청 수, TTFT, 토큰 간 지연 목표를 정한다. 같은 하드웨어도 이 조건에 따라 적합한 구성이 달라진다.

가중치 옆에 KV 예산을 둔다

모델 크기만으로 메모리를 산정하지 않는다. 유지되는 문맥의 합, prefix 공유율, 할당 여유와 긴 요청의 영향을 함께 본다.

캐시의 위치와 수명을 설계한다

에이전트에서는 사용자의 복귀 간격이 중요하다. 유지·오프로드·복원·재계산을 운영 지표와 연결한다.

최적화의 효과를 goodput으로 본다

총 토큰 수가 늘어도 지연 목표를 놓치면 서비스 가치는 제한된다. 사용자 경험과 단위 비용을 함께 비교한다.

벤치마크를 보기 전에 적어둘 체크리스트

  • 동일 모델·정밀도·품질 조건으로 비교하고 있는가?
  • 입력 길이, 출력 길이, 동시 요청과 도착 패턴을 정했는가?
  • 첫 응답과 이후 토큰의 지연 목표를 각각 정했는가?
  • 긴 세션과 큰 문맥이 몰리는 경우의 메모리를 계산했는가?
  • 캐시 적중·복원·재계산을 포함한 goodput과 비용을 보는가?

오래된 시스템 지식도 다시 중요해진다. PagedAttention의 메모리 관리, continuous batching의 스케줄링, speculative decoding의 예측과 검증은 모두 “낭비를 줄이고 자원을 더 잘 쓰는 법”이라는 고전적인 질문을 LLM 환경에서 다시 푼다.

THE QUESTION TO KEEP

다음 토큰을 기다리는 동안,
시스템은 무엇을 기다리고 있는가?

연산일 수도, 데이터 전송일 수도, 다음 요청을 보낼 사람일 수도 있다. 이 셋을 구분하면 KV cache, Roofline, batching과 이종 컴퓨팅은 서로 떨어진 용어가 아니라 하나의 설명으로 이어진다.

다음에 “초당 몇 토큰”이라는 숫자를 만났을 때는 그 옆에 조건을 적어 보자. 누구에게 얼마나 빨리 답하고, 어떤 기억을 얼마나 오래 유지하며, 그 목표를 얼마의 비용으로 달성하는가. 추론 경제학은 그 질문에서 시작된다.

SOURCE NOTES & LIMITATIONS

출처와 읽기의 한계

EP 112. AI 반도체 안에서 일어나는 일들: KV Cache부터 Roofline까지

AI Frontier Korea (노정석) · 영상 게시일 2026년 9월 1일 · 1시간 44분 10초
출연: 노정석, 최승준, 박종현 · 초대손님: 이진원, HyperAccel CTO
녹화 시점: 2026년 8월 30일 일요일 아침이라는 도입부 발언을 원노트가 기록

YouTube에서 원본 영상 보기 ↗
  1. 직접 편집한 자료. 이 글의 입력은 제공된 Obsidian 요약 노트다. 원노트는 한국어 수동 자막 2,484개 큐·약 50,700자, 28개 챕터, 메타데이터와 설명란을 확보했다고 밝힌다. 이 HTML 기사 작성 과정에서 그 원자료를 별도로 수집하거나 검증하지 않았다.
  2. 시각 자료의 한계. 원노트는 영상 스트림 접근 오류와 저해상도 스토리보드 때문에 강의 슬라이드의 그래프·표·수식·구조도를 직접 검증하지 못했다고 기록한다. 본문의 그림은 모두 설명용 재구성으로, 슬라이드 캡처나 측정 데이터가 아니다.
  3. 수치의 성격. 제품 사양, 활용률, 산업 성장률, 매출·마진 추정, 에이전트 trace 통계는 발표자가 구술한 값의 재전달이다. 특히 Bertha 수치는 제조사 CTO의 설명이며 독립 검증된 성능 비교가 아니다.
  4. 논문과 보고서. Roofline, Orca, PagedAttention, Splitwise, Mooncake, EAGLE-3, InferenceX 및 Copilot trace 관련 연구는 원노트와 영상에서 언급된 자료다. 이 글이 해당 원문을 읽거나 결과를 재현했다는 뜻은 아니다.
  5. 설명상 보정. 산술 강도를 FLOP/byte로 명시하고, KV 예시의 이진 단위와 십진 단위를 구분했다. Prefill·decode의 병목, speculative decoding의 품질, PD 분리의 효과는 절대 명제가 되지 않도록 조건을 덧붙였다.
  6. 전망과 미확인 주장. 원노트의 비공식 모델 규모 추정, 미확인 모델 유출 소문은 핵심 근거에서 제외했다. 기업 거래·제품 로드맵과 이종 컴퓨팅의 확대 전망 역시 별도 검증 없이 확정 사실로 일반화하지 않는다.