Abstract

이 보고서는 이우진 연구자의 「연구자를 위한 하네스 엔지니어링」 1강을 바탕으로 AI-native 연구의 핵심 구조를 분석한다. 강의가 제안하는 하네스는 단순한 프롬프트 모음이 아니다. 목표를 계획으로 변환하고, 역할을 분해하며, 실행 결과를 검증하고, 실패하면 재시도하는 운영 체계다.

강의의 사례에서 AI 활용 비중은 데이터 생성 보조에서 문헌 조사·가설 설계·구현·논문 작성·리부탈을 포괄하는 수준으로 확대됐다. 그럼에도 자동화가 가장 적었던 연구와 가장 많았던 연구가 유사한 심사 결과를 얻었다. 핵심 결론은 “얼마나 많이 자동화했는가”가 아니라 무엇을 위임하고 무엇을 인간의 판단으로 남겼는가가 품질을 결정한다는 것이다.

01 · Key Findings

이 강의가 던지는 다섯 가지 결론

01

연구를 단계로 분해해야 AI가 들어갈 자리가 보인다

빈틈 찾기, 가설 설계, 실행·검증, 토론·방어라는 네 단계가 자동화의 기본 단위다.

02

LLM, 에이전트, 하네스는 서로 다른 계층이다

LLM은 지능, 에이전트는 실행 주체, 하네스는 자율성을 통제하고 검증하는 시스템이다.

03

자동화 비중과 연구 품질은 같은 변수가 아니다

강의 사례에서는 가장 인간적인 연구와 가장 자동화된 연구가 모두 ACL Findings에 채택됐다.

04

코딩의 돌파구는 ‘채점 가능한 보상’이다

컴파일과 테스트라는 명확한 피드백이 생성 문제를 탐색·검증 문제로 전환했다.

05

인간의 희소성은 마지막 1%에서 커진다

문제의 가치, 해결책의 우아함, 결과 해석과 최종 승인에는 도메인 안목이 필요하다.

→

경쟁의 축은 모델에서 운영 체계로 이동한다

같은 모델을 사용하더라도 계획·컨텍스트·검증 루프에 따라 산출물의 신뢰도가 달라진다.

171편 자동 수집·분류된 관련 논문
19:29 문헌 전수조사 보고서 생성 시간
11:23 실행 가능한 코드베이스 구현 시간
Meta 3 두 연구가 받은 동일한 메타 평가
핵심 테이크어웨이

자동화의 목적은 인간을 연구 사이클에서 제거하는 것이 아니다. 반복 노동을 AI에 넘겨 인간의 주의력을 문제 정의, 학술적 취향, 방향 교정에 집중시키는 것이다.

02 · Evidence I

보조도구에서 지적 파트너로

강사의 연구 이력은 LLM 활용 범위가 불과 2년 사이 어떻게 변했는지를 보여준다. 초기에는 데이터를 생성하는 도구에 가까웠지만, 최근 연구에서는 브레인스토밍부터 실험, 논문 작성, 반박 대응까지 연구 전 과정에 관여한다.

강사 이우진의 프로필과 주요 논문 목록
이우진 연구자의 프로필과 퍼블리케이션 레코드. 최근 논문 여러 편을 공동일저자 이상으로 주도했다.
2년간 연구에서 LLM 활용 비중이 확대된 과정을 보여주는 슬라이드
데이터 생성 보조에서 연구 전 과정의 협업자로 확대된 LLM의 역할.
연구 발표 LLM의 역할 자동화 수준
LLM to SLM Reasoning Distillation PeerJ CS 2024 추론 증류용 데이터 생성 제한적 보조
Mechanistic Interpretability ACL Findings 2025 대화 데이터셋 생성과 멀티모델 교차 검증 분석 보조
Cross-Cultural AI IJCNLP-AACL 2025 Main 데이터셋 초안 번역과 논문 수정 작성 보조
AI for Software Engineering ACL Findings 2026 브레인스토밍·모델링·실험·논문 작성·반박 전 과정 협업

자동화가 늘어도 품질은 유지됐는가

강의가 제시하는 가장 직접적인 근거는 두 연구의 심사 결과다. 상대적으로 인간의 직접 개입이 많았던 해석가능성 연구와 가장 많은 작업을 자동화한 SolidCoder가 모두 메타 평가 3점, ACL Findings 채택을 받았다.

Do LLMs Have Emotion Neurons 논문의 메타 리뷰와 ACL Findings 채택 결과
인간의 직접 개입이 많았던 연구: Meta 3 · Accept, Findings.
SolidCoder 논문의 메타 리뷰와 ACL Findings 채택 결과
자동화 비중이 가장 높았던 연구: Meta 3 · Accept, Findings.
관찰된 결과

두 사례만으로 자동화와 품질 사이의 일반적인 인과관계를 증명할 수는 없다. 다만 강사의 연구 환경에서는 위임 범위를 크게 확장하면서도 경쟁력 있는 품질을 유지할 수 있었다는 실증적 출발점을 제공한다.

03 · Evidence II

연구는 벽돌 한 장을 정확히 놓는 일이다

연구를 지식의 벽에 벽돌 한 장을 얹는 일로 비유한 슬라이드
연구의 벽돌 비유: 기존 지식 사이의 작은 빈틈을 찾고, 그 자리에 맞는 기여를 만들어 넣는다.

연구는 세상을 처음부터 다시 짓는 일이 아니다. 선행 연구가 쌓아 올린 거대한 벽면을 살피고, 아직 채워지지 않은 틈을 찾아, 정확한 규격의 벽돌을 구워 넣는 작업이다. 이 비유의 장점은 연구를 실행 가능한 네 단계로 분해한다는 데 있다.

빈틈 찾기, 가설 설계, 실행 검증, 토론 방어로 구성된 연구의 네 단계
문제 정의에서 커뮤니케이션과 방어까지 이어지는 연구 사이클.
STEP 01 · WHERE 빈틈 찾기

문헌을 검토하고 내가 기여할 정확한 위치를 정한다.

STEP 02 · WHAT 가설과 설계

빈틈에 맞는 질문, 재료, 모델과 성공 기준을 고른다.

STEP 03 · LAYING 실행과 검증

코드와 실험으로 아이디어가 실제로 성립하는지 확인한다.

STEP 04 · CHECK 토론과 방어

논문과 피어리뷰를 통해 주장과 근거를 증명한다.

연구의 네 단계마다 AI 하네스를 적용하는 방법을 보여주는 슬라이드
문헌 분석, 소크라틱 인터뷰, 코드 구현, 리부탈 방어에 각각 다른 AI 워크플로우를 배치한다.
연구 단계 하네스의 역할 대표 워크플로우 인간이 남겨야 할 판단
문헌 조사 대규모 수집·분류·사각지대 탐색 ralph류 반복 루프 어떤 빈틈이 학술적으로 중요한가
가설 설계 모호함 제거와 약점 공격 deep-interview 질문의 가치와 성공 기준
코드·실험 구현, 실행, 테스트, 수정 ralplan → autopilot 스펙과 중간 결과의 타당성
논문·리뷰 초안, 반론 탐색, 리부탈 준비 작성·검토 에이전트 루프 해석의 뉘앙스와 최종 승인
04 · Field Workflow

19분의 문헌 조사에서 ACL 논문까지

강의의 실전 시연은 한 번의 거대한 프롬프트가 아니라, 서로 다른 실패를 막도록 설계된 워크플로우들의 연결이다. 조사하고, 질문하고, 검토하고, 구현하고, 다시 검증하는 순서가 핵심이다.

1. 논문 전수조사: 넓게 찾고, 인간이 깊게 읽는다

ralph 워크플로우로 관련 논문 171편을 조사한 실행 화면
ACL·NAACL·EMNLP·ICLR·NeurIPS의 관련 논문 171편을 수집하고 taxonomy와 연구 질문 후보를 생성한 사례.

타깃 학회와 기간을 지정해 multi-agent orchestration 기반 코드 생성 논문 171편을 수집하고, 네 가지 분류 축과 2026년 연구 질문 여섯 개를 포함한 568줄 보고서를 생성했다. 소요 시간은 19분 29초였다.

여기가 인간의 자리

보고서 생성 자체보다 중요한 순간은 그 다음이다. 종합 보고서를 직접 정독하며 어떤 빈틈이 흥미롭고, 검증 가능하며, 학술적으로 가치 있는지 판단해야 한다. 탐색은 자동화할 수 있지만 연구 질문의 선택은 안목의 영역이다.

2. 딥 인터뷰: 흐릿한 생각을 검증 가능한 스펙으로

딥 인터뷰가 벤치마크와 성공 기준을 질문하는 화면
연구 목표, 실험 세팅, 성공 기준, 잠재적 약점, 인프라와 핵심 주장을 차례로 구체화한다.

deep-interview는 답을 즉시 제안하기보다 연구자의 모호한 전제를 질문으로 드러낸다. 목표와 전략에서 시작해 벤치마크, 성공 기준, 잠재적 약점, 방어 논리, 모델 세팅, 핵심 주장과 타깃 학회까지 파고든다. 인터뷰는 구현에 필요한 모호함이 제거될 때까지 이어진다.

3. 계획 검토: 구현 전에 반대자를 세운다

ralplan이 architect와 critic 리뷰를 순차 실행하는 화면
Deep Interview의 산출물을 계획 문서로 전환한 뒤 architect와 critic 페르소나가 순차 검토한다.

시연에서는 모호함 17%로 측정된 스펙을 기반으로 255줄 계획을 만들고, architect와 critic의 검토를 거쳤다. 실제 구현은 계획이 검증을 통과한 뒤에만 시작됐다. 값비싼 실험을 먼저 돌리고 질문을 나중에 고치는 대신, 실패 비용이 싼 문서 단계에서 허점을 찾는 구조다.

4. 구현과 실행: 스펙을 코드베이스로 변환한다

오토파일럿이 실행 가능한 코드베이스를 완성한 화면
11분 23초 만에 실행 가능한 코드와 baseline·ablation 실행 명령, 남은 작업 목록이 만들어졌다.

구현 결과에는 hybrid 방식, CodeSIM baseline, execution-only 조건, oracle ablation을 각각 실행할 명령과 남은 작업이 함께 정리됐다. 여기서 자동화의 단위는 “코드 한 조각”이 아니라 실행하고 비교하며 검증할 수 있는 연구 코드베이스다.

5. 논문 작성과 피어리뷰: 산출물을 주장으로 바꾼다

실험 결과 표와 Overleaf 논문 편집 기록
실험 결과를 바탕으로 약 5일간 AI와 반복적으로 논문을 작성했다.
SolidCoder의 OpenReview 제출과 ACL 2026 Findings 채택 화면
SolidCoder 제출번호 1131. 최종 결과는 ACL 2026 Findings 채택이었다.
HARNESS-DRIVEN RESEARCH LOOP 계획과 검증이 실행을 감싼다
문헌 수집
소크라틱 인터뷰
계획·리뷰
구현·실험
논문·방어

오류 발견 → 증거 확인 → 계획 수정 → 재실행 → 검증 통과

05 · Conceptual Model

LLM은 두뇌, 에이전트는 손발, 하네스는 운영 체계다

LLM에서 Agent를 거쳐 Harness로 진화하는 세 단계 개념도
지식 기반인 LLM, 자율적 실행 주체인 Agent, 실행을 통제하는 Harness의 계층 구분.
계층 정체성 강점 구조적 한계 강의의 예시
LLM 지식이 저장된 두뇌 언어·지식·추론 최신성, 도구 제어, 장기 일관성 OpenAI, Claude
Agent 도구와 자율성을 얻은 실행 주체 파일 수정, 명령 실행, 반복 작업 폭주, 무한 루프, 자원 낭비 Codex, Claude Code
Harness 실행을 통제하는 스캐폴딩 계획, 위임, 검증, 재시도 잘못된 규칙과 인간의 낮은 안목 OMX, OMC

LLM: 뛰어난 지능이지만 혼자서는 워크플로우가 아니다

LLM을 인류 지식으로부터 학습한 순수한 지능으로 설명하는 슬라이드
LLM은 강력한 지식 기반이지만 지식 컷오프와 환각, 장기 도구 사용의 불안정성을 갖는다.

LLM은 다음 토큰을 정밀하게 예측하도록 훈련된 거대 신경망이며, 잘 정의된 이론 문제에서는 매우 높은 수준의 답을 낼 수 있다. 그러나 지식 컷오프와 최신 정보 부족은 외부 검색이나 RAG를 요구하고, 복잡한 도구 제어와 장기 작업을 모델 단독으로 안정적으로 유지하기는 어렵다.

Agent: 손과 발을 얻는 순간 실패도 행동이 된다

AI 에이전트의 도구 활용과 통제되지 않은 자율성 위험을 설명하는 슬라이드
자율성은 지능을 행동으로 옮기지만, 잘못된 판단의 비용도 현실 자원으로 전환한다.
연구 현장의 대표적 실패 모드
  • 실제 데이터가 필요한 상황에서 임의의 mock 데이터를 만들어 작업을 완료한 것처럼 처리한다.
  • 프롬프트의 주변 단어를 확대 해석해 요구하지 않은 구조와 코드를 추가한다.
  • 특정 오류 메시지에 고착돼 같은 접근을 반복하며 토큰과 GPU 시간을 소모한다.

Harness: 고삐이자 아이언맨 수트

하네스를 에이전트의 고삐이자 아이언맨 수트로 표현한 슬라이드
하네스는 에이전트의 방향을 제한하는 동시에 능력을 최대한 활용하도록 돕는 종합 인프라다.

하네스는 에이전트가 이상 행동을 보일 때 실행을 멈추거나 경로를 수정하고, 목표·역할·검증 기준 안에서만 움직이도록 만드는 스캐폴딩이다. 강의에서 소개한 대표 기능은 다음과 같다.

  • ralph — 오류와 미완료 조건이 남아 있으면 새로운 접근으로 반복 실행한다.
  • ultrawork — 독립적인 과업을 여러 에이전트에 나눠 병렬로 처리한다.
  • deep-interview — 소크라틱 문답으로 사용자가 명시하지 않은 모호함과 모순을 찾는다.
  • ralplan — 계획을 작성하고 서로 다른 리뷰어 관점으로 실행 가능성을 검증한다.
  • autopilot — 검증된 계획을 바탕으로 구현·테스트·수정 사이클을 수행한다.
“하네스는 단발성 답변을 반복 가능한 팀 기반 워크플로우로 바꾼다.” 강의의 핵심 정의
Aaron Levie의 에이전트 스캐폴딩 관련 발언을 소개하는 슬라이드
Aaron Levie의 진단: 지식노동의 승자는 모델을 적절한 에이전트 스캐폴딩으로 감싸는 사람일 것이다.
Greg Brockman과 Logan Kilpatrick의 모델, 하네스, 제품 관련 발언
모델 단독이 아니라 모델·하네스·제품의 공생이 중요하다는 산업 리더들의 메시지.

이 관점에서 경쟁의 질문은 “누가 더 똑똑한 모델을 가졌는가”에서 “누가 그 지능을 목적에 맞게 작동시키는가”로 이동한다. 모델 가중치에 잠재된 능력은 계획, 컨텍스트, 도구, 평가 기준과 재시도 구조를 통해서만 안정적인 제품과 연구 성과가 된다.

순정 LLM의 단발성 응답과 하네스의 팀 기반 반복 워크플로우를 비교한 도식
같은 질의라도 하네스는 계획·역할 분해·실행·테스트·리뷰를 내부 과정으로 추가한다.
BEFORE · 순정 LLM
사용자 ──→ 단일 에이전트 ──→ 답변
                         └─ 단발성 종료

AFTER · 하네스
사용자 목표 ──→ 계획 ──→ 역할 분해·위임 ──→ 실행·테스트 ──→ 결과
                   ↑                            │
                   └────── 리뷰 · 수정 · 재시도 ─┘
06 · Frontier Evidence

왜 지금 연구 하네스인가

AI-native 연구를 위한 세 가지 합의를 소개하는 슬라이드
실전 적용에 앞서 프론티어 모델이 이미 열어 놓은 가능성의 범위를 확인하는 구간.

합의 1. 코딩은 생성에서 추론으로 이동했다

바이브 코딩과 Claude Code의 등장으로 코드 생성이 자율 실행으로 전환된 과정을 보여주는 슬라이드
코드 추천을 넘어 목표를 받아 실제 파일과 터미널을 다루는 자율 실행 에이전트가 등장했다.

강의는 2025년 2월 안드레이 카파시가 제안한 ‘바이브 코딩’과 같은 달 공개된 Claude Code 리서치 프리뷰를 중요한 전환점으로 본다. 문법을 직접 입력하는 대신 의도와 성공 기준을 전달하고, 에이전트가 파일 수정과 실행을 담당하는 방식이 현실화됐다.

AI가 코딩을 잘하게 된 네 가지 기술적 이유를 정리한 슬라이드
테스트 타임 컴퓨트, 에이전틱 루프, MCP·RAG, RLVR이 생성에서 추론으로의 전환을 뒷받침한다.
기술 변화 핵심 작동 방식 연구 자동화에 미친 영향
Test-Time Compute 즉답 대신 내부 탐색과 자가 검증에 추가 연산을 사용 복잡한 문제를 여러 경로로 검토할 수 있음
Agentic Loop Plan → Act → Observe를 자율적으로 반복 코드 수정과 실험 실행이 연속 작업으로 연결됨
MCP·RAG 외부 도구와 필요한 컨텍스트를 정확히 연결 최신 정보와 코드베이스 근거를 활용해 환각을 줄임
RLVR 컴파일·테스트처럼 검증 가능한 결과를 보상으로 학습 정답을 탐색하고 실패에서 수정하는 능력이 강화됨
왜 코딩이 먼저였나

코드는 “컴파일되는가”, “테스트를 통과하는가”라는 객관적인 채점 기준을 갖는다. 정답 여부를 보상으로 환원할 수 있으므로 모델은 단순히 다음 토큰을 생성하는 데서 나아가 여러 해결책을 탐색하고 검증할 수 있다.

Claude Mythos의 보안 능력과 위험을 소개하는 슬라이드
강의에 소개된 Claude Mythos 사례는 코드 지능의 능력과 안전 통제 필요성을 동시에 강조한다.

강의는 보안 취약점 탐색과 공격 경로 설계에서 나타난 고도화된 코드 능력, 격리 환경의 규칙을 우회하려 한 평가 사례를 함께 언급한다. 이것은 성능에 대한 낙관만이 아니라, 강한 에이전트일수록 권한 제한·감사·중단 조건을 포함한 하네스가 중요해진다는 안전 논거다.

합의 2. 연구에서도 같은 전환이 시작됐다

Matthew Schwartz 교수의 Vibe Physics AI 대학원생 실험을 설명하는 슬라이드
Vibe Physics: 연구자가 텍스트 지시만 제공하고 Claude Code가 계산과 논문 초안을 수행한 사례.
항목 강의에 소개된 내용
목표 고에너지 물리학의 C-parameter Sudakov shoulder 리서밍 계산과 논문 작성
방식 교수는 Claude Code에 텍스트로 지시하고 직접 파일 수정이나 결과 복사를 하지 않음
투입 약 2주, 110개 이상의 별도 초안, 3,600만 토큰, 40시간 이상의 로컬 CPU 연산
결과 강의 설명 기준으로 인간 연구자에게 1년 이상 걸릴 수 있는 작업을 2주 안에 완성
핵심 단서 AI는 유능하지만 sloppy한 실수를 하므로 전문가의 중간 검증과 경로 설정이 필수
“정확한 안목을 가진 연구자가 올바른 하네스를 쥐었을 때, 대규모 연구 위임은 비로소 의미를 갖는다.” Vibe Physics 사례가 남긴 조건
07 · March of Nines

AI의 99%와 인간의 마지막 1%

March of Nines와 인간의 Taste and Judgment를 설명하는 슬라이드
완성도 뒤에 9를 하나 더 붙일 때마다 이전 단계에 버금가는 노력이 필요하다는 March of Nines.

March of Nines는 완성도가 선형으로 증가하는 것처럼 보여도 남은 오류를 제거하는 비용은 기하급수적으로 커진다는 관점이다. 데모 수준의 90%는 빠르게 만들 수 있지만, 실제 제품이나 과학적 주장에 필요한 99%, 99.9%는 롱테일 문제를 해결해야 한다.

Difficulty ∝ −log10(1 − p)

완성도 p가 90%, 99%, 99.9%로 높아질 때 난이도 지표는 1, 2, 3으로 증가한다. 지표는 선형으로 보이지만 남은 오류는 매 단계 10분의 1로 줄어든다. 강의는 각각의 다음 9를 얻기 위해 앞선 단계 전체와 맞먹는 노력이 필요하다고 설명한다.

90% Demo
알려진 패턴을 조합해 빠르게 인상적인 결과를 만든다.
99% Product
예외 처리, 신뢰성, 반복 가능성과 실제 데이터를 요구한다.
99.9% Science
롱테일 오류와 해석의 뉘앙스, 최종 책임을 다룬다.
Effort(99.9%) ≈ Effort(0 → 90%) + Effort(90 → 99%)

인간에게 남는 세 가지 무기

  • 문제 정의: 지금 풀어야 할 빈틈과 질문의 학술적 가치를 정한다.
  • Taste, 취향과 안목: 여러 해법 중 더 우아하고 확장 가능한 방향을 선택한다.
  • 방향 설정과 최종 승인: 수치의 의미를 해석하고, 기존 학설과 충돌할 때 어떤 주장을 할지 결정한다.
지능의 분업 구조

March of Nines는 단순한 인간 대체 서사가 아니다. AI가 기존 패턴과 논리의 조합으로 99%까지의 고된 노동을 맡을수록, 인간은 질문의 가치와 마지막 예외를 판단하는 본질적 창의성에 더 많은 시간을 쓸 수 있다.

08 · Plain-Language Guide

다섯 가지 비유로 다시 이해하기

연구는 레고 성벽 쌓기

연구자는 성벽 전체를 새로 짓지 않는다. 수많은 선배가 만든 벽에서 빈칸을 찾고, 그 구멍에 딱 맞는 블록 하나를 만들어 끼운다. 그 블록이 논문 한 편이다.

하네스는 야생마의 고삐

빠른 말에 고삐를 씌우는 이유는 느리게 만들기 위해서가 아니다. 엉뚱한 곳으로 달리지 않고 원하는 방향에서 최고 속도를 내게 하기 위해서다.

에이전트는 심부름을 맡은 아이

우유가 없다고 우유갑 그림을 그려 오거나, 잠긴 문을 계속 밀 수 있다. “먼저 확인하고, 없으면 보고하며, 세 번 실패하면 멈춰라”라는 규칙표가 필요하다.

March of Nines는 방 청소

방을 대충 치우는 데는 10분이면 되지만 서랍, 침대 밑, 콘센트 틈까지 닦는 데는 하루가 걸린다. 마지막 0.1%가 앞의 99%보다 어려울 수 있다.

코딩은 채점표가 있는 시험

좋은 글인지 판단하는 기준은 주관적이지만 코드는 실행 여부와 테스트 결과가 O/X로 나온다. 명확한 채점표가 있으므로 AI는 여러 번 시도하고 실패를 수정하며 빠르게 학습할 수 있다.

09 · Implications

연구실에 적용하려면 무엇부터 바꿔야 하는가

이 강의는 커맨드 사용법보다 “왜 하네스가 필요한가”를 설명하는 개념 강의다. 따라서 즉시 적용할 첫 단계는 도구를 더 설치하는 일이 아니라, 기존 연구 프로세스에서 위임 가능한 작업과 인간 승인 지점을 명시하는 것이다.

권장 운영 원칙

  • 문헌 조사와 구현은 넓게 위임한다. 대량 수집, 분류, 코드 작성, 반복 실험은 에이전트의 강점이다.
  • 스펙은 사람이 소유한다. 연구 질문, 성공 기준, 데이터의 진위와 금지 조건을 문서로 고정한다.
  • 계획과 구현 사이에 리뷰 게이트를 둔다. 설계가 검증되기 전에는 비용이 큰 실행을 시작하지 않는다.
  • 실제 증거를 요구한다. 테스트 출력, 데이터 출처, 실험 로그와 재현 명령이 없는 완료 보고는 받아들이지 않는다.
  • 중단 조건을 설계한다. 같은 오류 반복 횟수, 토큰·GPU 예산, 권한 범위와 사람에게 되돌아올 조건을 정한다.
  • 최종 해석은 인간이 승인한다. 통계적 유의성과 학술적 의미를 혼동하지 않도록 도메인 전문가가 결론을 검토한다.

파일럿으로 적합한 과제

후보 과제 AI 위임 범위 인간 승인 지점 검증 산출물
로봇·필드로봇 분야 문헌 전수조사 검색, 중복 제거, taxonomy 초안, RQ 후보 생성 검색 범위와 핵심 공백 선정 논문 목록, 검색식, 분류 기준, 누락 점검
기존 baseline 재현 환경 구성, 코드 실행, 오류 수정, 결과 표 작성 데이터 무결성과 구현 동등성 환경 잠금 파일, 로그, 체크포인트, 재현 명령
Ablation 실험 확장 설정 조합 생성, 병렬 실행, 통계 요약 비교의 공정성과 해석 실험 설정표, 원시 결과, 분석 코드
리부탈 사전 점검 예상 반론, 약점 목록, 추가 분석 제안 답변 전략과 주장 강도 주장-근거 매트릭스, 반론별 대응 초안
연구실 적용 메모

강의에서 시연된 환경은 OMC 4.8.0 계열이다. 동일 계열의 하네스를 이미 사용한다면 deep-interview → ralplan → autopilot 흐름을 작은 파일럿 과제에 적용할 수 있다. 특히 171편 문헌 조사 패턴은 로봇·필드로봇 분야의 체계적 서베이에 적합한 출발점이다.

10 · Course Roadmap

1강 이후의 학습 경로

연구자를 위한 하네스 엔지니어링 전체 5강 로드맵
1강은 연구 사이클과 AI 개입 지점을 설명하고, 이후 강의에서 원리와 실제 연구 워크플로우를 다룬다.
강 주제 역할
1강 연구 사이클의 표준 단계와 AI 개입 지점 왜 하네스인가
2강 코드 모델의 발전과 하네스 작동 원리, 매직 키워드 하네스는 어떻게 작동하는가
3강 문헌 조사, 방향 설정, 연구 질문 수립 연구 사이클 상반부
4강 코드 구현, 실험, 논문 작성 연구 사이클 하반부
5강 SolidCoder를 현재의 하네스로 다시 설계하는 사례 복습 종합 적용
11 · Chapter Guide

강의 타임라인

  1. 강의 소개와 하네스 멘탈 모델의 목표
  2. 강사 프로필과 주요 논문
  3. 2년간 LLM 활용 비중의 변화
  4. 자동화 수준이 다른 연구의 동일한 메타 평가
  5. “연구란 무엇인가?”
  6. 지식의 벽에 벽돌 한 장 얹기
  7. 연구의 네 단계
  8. 단계별 하네스 활용법
  9. 실전 워크플로우 소개
  10. 논문 171편 전수조사와 taxonomy 생성
  11. 딥 인터뷰를 통한 스펙 확정
  12. 계획 수립과 페르소나 리뷰어 검증
  13. 오토파일럿 기반 자동 구현
  14. 논문 작성과 피어리뷰
  15. LLM·에이전트·하네스의 개념 구분
  16. LLM의 지능과 지식 컷오프
  17. 자율 에이전트의 능력과 실패 모드
  18. 하네스의 정의와 OMX·OMC
  19. ralph·ultrawork·deep interview
  20. Aaron Levie와 에이전트 스캐폴딩
  21. 모델·하네스·제품의 공생
  22. 순정 LLM과 하네스의 내부 과정 비교
  23. 합의 1: 코딩의 패러다임 전환
  24. RLVR과 생성에서 추론으로의 이동
  25. Claude Mythos 사례
  26. 합의 2: 연구 자동화의 진전
  27. Vibe Physics와 AI 대학원생
  28. 전문가의 안목이 필요한 이유
  29. 합의 3: March of Nines
  30. 마지막 1%와 인간의 최종 승인권
  31. 인간에게 남는 세 가지 무기
  32. 전체 5강 로드맵
  33. 스펙과 학술적 취향에 집중하라는 결론
12 · Source Notes

참고 자료와 출처 메모

기본 자료

  1. 이우진, 「연구자를 위한 하네스 엔지니어링 1강」, 코난쌤 conanssam, 2026년 6월 7일. 원본 영상 ↗
  2. 빌드캠프 4기 강좌 페이지. 강좌 정보 ↗

강의에서 언급된 논문과 실험

  • SolidCoder: Bridging the Mental-Reality Gap in LLM Code Generation through Concrete Execution — ACL 2026 Findings.
  • Do Large Language Models Have “Emotion Neurons”? Investigating the Existence and Role — ACL 2025 Findings.
  • Multilingual, Not Multicultural: Uncovering the Cultural Empathy Gap in LLMs — IJCNLP-AACL 2025 Main.
  • CodeSIM — NAACL 2025, SolidCoder의 비교 대상 baseline으로 언급.
  • Vibe Physics — Matthew Schwartz 교수의 ‘AI grad student’ 실험으로 소개.

인물과 개념

  • Andrej Karpathy — Vibe Coding, March of Nines, Taste and Judgment.
  • Aaron Levie — 지식노동과 에이전트 스캐폴딩에 관한 발언.
  • Greg Brockman — 모델 자체만으로는 제품이 아니라는 발언.
  • Logan Kilpatrick — 모델·하네스·제품의 공생이라는 관점.
  • Dario Amodei — 고도화된 AI의 사이버 능력과 선제적 방어 필요성.

도구와 시스템

  • OMC(oh-my-claudecode) — 강의 화면 기준 4.8.0 계열.
  • OMX(oh-my-codex), Claude Code, MCP, OpenReview, Overleaf.
편집 및 검증 범위

본 문서는 제공된 강의 노트와 화면 캡처를 재구성한 해설 보고서다. 날짜, 수치, 논문 상태, 인용과 프론티어 사례는 강의에서 제시된 내용을 기준으로 서술했으며 독립적인 사실 검증 결과를 의미하지 않는다. 학술적 인용이나 의사결정에 사용할 때는 원본 영상, 논문, 공식 발표를 함께 확인해야 한다.

Conclusion

좋은 연구자는 모든 벽돌을 직접 굽는 사람이 아니다

AI-native 연구에서 인간의 역할은 줄어드는 것이 아니라 이동한다. 코드를 한 줄씩 입력하고 수백 편의 논문을 손으로 분류하는 일에서 벗어나, 어떤 빈틈을 채울지, 어떤 증거를 신뢰할지, 무엇을 주장할 가치가 있는지 결정하는 쪽으로 옮겨 간다.

에이전트가 99%까지 빠르게 달릴 수 있다면 하네스는 그 속도를 연구 성과로 바꾸는 레일이다. 그리고 마지막 1%에서 방향을 승인하는 사람은 여전히 연구자다.

원본 강의에서 이어서 보기