Abstract
이 보고서는 이우진 연구자의 「연구자를 위한 하네스 엔지니어링」 1강을 바탕으로 AI-native 연구의 핵심 구조를 분석한다. 강의가 제안하는 하네스는 단순한 프롬프트 모음이 아니다. 목표를 계획으로 변환하고, 역할을 분해하며, 실행 결과를 검증하고, 실패하면 재시도하는 운영 체계다.
강의의 사례에서 AI 활용 비중은 데이터 생성 보조에서 문헌 조사·가설 설계·구현·논문 작성·리부탈을 포괄하는 수준으로 확대됐다. 그럼에도 자동화가 가장 적었던 연구와 가장 많았던 연구가 유사한 심사 결과를 얻었다. 핵심 결론은 “얼마나 많이 자동화했는가”가 아니라 무엇을 위임하고 무엇을 인간의 판단으로 남겼는가가 품질을 결정한다는 것이다.
이 강의가 던지는 다섯 가지 결론
연구를 단계로 분해해야 AI가 들어갈 자리가 보인다
빈틈 찾기, 가설 설계, 실행·검증, 토론·방어라는 네 단계가 자동화의 기본 단위다.
LLM, 에이전트, 하네스는 서로 다른 계층이다
LLM은 지능, 에이전트는 실행 주체, 하네스는 자율성을 통제하고 검증하는 시스템이다.
자동화 비중과 연구 품질은 같은 변수가 아니다
강의 사례에서는 가장 인간적인 연구와 가장 자동화된 연구가 모두 ACL Findings에 채택됐다.
코딩의 돌파구는 ‘채점 가능한 보상’이다
컴파일과 테스트라는 명확한 피드백이 생성 문제를 탐색·검증 문제로 전환했다.
인간의 희소성은 마지막 1%에서 커진다
문제의 가치, 해결책의 우아함, 결과 해석과 최종 승인에는 도메인 안목이 필요하다.
경쟁의 축은 모델에서 운영 체계로 이동한다
같은 모델을 사용하더라도 계획·컨텍스트·검증 루프에 따라 산출물의 신뢰도가 달라진다.
자동화의 목적은 인간을 연구 사이클에서 제거하는 것이 아니다. 반복 노동을 AI에 넘겨 인간의 주의력을 문제 정의, 학술적 취향, 방향 교정에 집중시키는 것이다.
보조도구에서 지적 파트너로
강사의 연구 이력은 LLM 활용 범위가 불과 2년 사이 어떻게 변했는지를 보여준다. 초기에는 데이터를 생성하는 도구에 가까웠지만, 최근 연구에서는 브레인스토밍부터 실험, 논문 작성, 반박 대응까지 연구 전 과정에 관여한다.
| 연구 | 발표 | LLM의 역할 | 자동화 수준 |
|---|---|---|---|
| LLM to SLM Reasoning Distillation | PeerJ CS 2024 | 추론 증류용 데이터 생성 | 제한적 보조 |
| Mechanistic Interpretability | ACL Findings 2025 | 대화 데이터셋 생성과 멀티모델 교차 검증 | 분석 보조 |
| Cross-Cultural AI | IJCNLP-AACL 2025 Main | 데이터셋 초안 번역과 논문 수정 | 작성 보조 |
| AI for Software Engineering | ACL Findings 2026 | 브레인스토밍·모델링·실험·논문 작성·반박 | 전 과정 협업 |
자동화가 늘어도 품질은 유지됐는가
강의가 제시하는 가장 직접적인 근거는 두 연구의 심사 결과다. 상대적으로 인간의 직접 개입이 많았던 해석가능성 연구와 가장 많은 작업을 자동화한 SolidCoder가 모두 메타 평가 3점, ACL Findings 채택을 받았다.
두 사례만으로 자동화와 품질 사이의 일반적인 인과관계를 증명할 수는 없다. 다만 강사의 연구 환경에서는 위임 범위를 크게 확장하면서도 경쟁력 있는 품질을 유지할 수 있었다는 실증적 출발점을 제공한다.
연구는 벽돌 한 장을 정확히 놓는 일이다
연구는 세상을 처음부터 다시 짓는 일이 아니다. 선행 연구가 쌓아 올린 거대한 벽면을 살피고, 아직 채워지지 않은 틈을 찾아, 정확한 규격의 벽돌을 구워 넣는 작업이다. 이 비유의 장점은 연구를 실행 가능한 네 단계로 분해한다는 데 있다.
문헌을 검토하고 내가 기여할 정확한 위치를 정한다.
빈틈에 맞는 질문, 재료, 모델과 성공 기준을 고른다.
코드와 실험으로 아이디어가 실제로 성립하는지 확인한다.
논문과 피어리뷰를 통해 주장과 근거를 증명한다.
| 연구 단계 | 하네스의 역할 | 대표 워크플로우 | 인간이 남겨야 할 판단 |
|---|---|---|---|
| 문헌 조사 | 대규모 수집·분류·사각지대 탐색 | ralph류 반복 루프 |
어떤 빈틈이 학술적으로 중요한가 |
| 가설 설계 | 모호함 제거와 약점 공격 | deep-interview |
질문의 가치와 성공 기준 |
| 코드·실험 | 구현, 실행, 테스트, 수정 | ralplan → autopilot |
스펙과 중간 결과의 타당성 |
| 논문·리뷰 | 초안, 반론 탐색, 리부탈 준비 | 작성·검토 에이전트 루프 | 해석의 뉘앙스와 최종 승인 |
19분의 문헌 조사에서 ACL 논문까지
강의의 실전 시연은 한 번의 거대한 프롬프트가 아니라, 서로 다른 실패를 막도록 설계된 워크플로우들의 연결이다. 조사하고, 질문하고, 검토하고, 구현하고, 다시 검증하는 순서가 핵심이다.
1. 논문 전수조사: 넓게 찾고, 인간이 깊게 읽는다
타깃 학회와 기간을 지정해 multi-agent orchestration 기반 코드 생성 논문 171편을 수집하고, 네 가지 분류 축과 2026년 연구 질문 여섯 개를 포함한 568줄 보고서를 생성했다. 소요 시간은 19분 29초였다.
보고서 생성 자체보다 중요한 순간은 그 다음이다. 종합 보고서를 직접 정독하며 어떤 빈틈이 흥미롭고, 검증 가능하며, 학술적으로 가치 있는지 판단해야 한다. 탐색은 자동화할 수 있지만 연구 질문의 선택은 안목의 영역이다.
2. 딥 인터뷰: 흐릿한 생각을 검증 가능한 스펙으로
deep-interview는 답을 즉시 제안하기보다 연구자의 모호한 전제를
질문으로 드러낸다. 목표와 전략에서 시작해 벤치마크, 성공 기준, 잠재적 약점,
방어 논리, 모델 세팅, 핵심 주장과 타깃 학회까지 파고든다. 인터뷰는 구현에 필요한
모호함이 제거될 때까지 이어진다.
3. 계획 검토: 구현 전에 반대자를 세운다
시연에서는 모호함 17%로 측정된 스펙을 기반으로 255줄 계획을 만들고,
architect와 critic의 검토를 거쳤다. 실제 구현은
계획이 검증을 통과한 뒤에만 시작됐다. 값비싼 실험을 먼저 돌리고 질문을 나중에
고치는 대신, 실패 비용이 싼 문서 단계에서 허점을 찾는 구조다.
4. 구현과 실행: 스펙을 코드베이스로 변환한다
구현 결과에는 hybrid 방식, CodeSIM baseline, execution-only 조건, oracle ablation을 각각 실행할 명령과 남은 작업이 함께 정리됐다. 여기서 자동화의 단위는 “코드 한 조각”이 아니라 실행하고 비교하며 검증할 수 있는 연구 코드베이스다.
5. 논문 작성과 피어리뷰: 산출물을 주장으로 바꾼다
오류 발견 → 증거 확인 → 계획 수정 → 재실행 → 검증 통과
LLM은 두뇌, 에이전트는 손발, 하네스는 운영 체계다
| 계층 | 정체성 | 강점 | 구조적 한계 | 강의의 예시 |
|---|---|---|---|---|
| LLM | 지식이 저장된 두뇌 | 언어·지식·추론 | 최신성, 도구 제어, 장기 일관성 | OpenAI, Claude |
| Agent | 도구와 자율성을 얻은 실행 주체 | 파일 수정, 명령 실행, 반복 작업 | 폭주, 무한 루프, 자원 낭비 | Codex, Claude Code |
| Harness | 실행을 통제하는 스캐폴딩 | 계획, 위임, 검증, 재시도 | 잘못된 규칙과 인간의 낮은 안목 | OMX, OMC |
LLM: 뛰어난 지능이지만 혼자서는 워크플로우가 아니다
LLM은 다음 토큰을 정밀하게 예측하도록 훈련된 거대 신경망이며, 잘 정의된 이론 문제에서는 매우 높은 수준의 답을 낼 수 있다. 그러나 지식 컷오프와 최신 정보 부족은 외부 검색이나 RAG를 요구하고, 복잡한 도구 제어와 장기 작업을 모델 단독으로 안정적으로 유지하기는 어렵다.
Agent: 손과 발을 얻는 순간 실패도 행동이 된다
- 실제 데이터가 필요한 상황에서 임의의 mock 데이터를 만들어 작업을 완료한 것처럼 처리한다.
- 프롬프트의 주변 단어를 확대 해석해 요구하지 않은 구조와 코드를 추가한다.
- 특정 오류 메시지에 고착돼 같은 접근을 반복하며 토큰과 GPU 시간을 소모한다.
Harness: 고삐이자 아이언맨 수트
하네스는 에이전트가 이상 행동을 보일 때 실행을 멈추거나 경로를 수정하고, 목표·역할·검증 기준 안에서만 움직이도록 만드는 스캐폴딩이다. 강의에서 소개한 대표 기능은 다음과 같다.
ralph— 오류와 미완료 조건이 남아 있으면 새로운 접근으로 반복 실행한다.ultrawork— 독립적인 과업을 여러 에이전트에 나눠 병렬로 처리한다.deep-interview— 소크라틱 문답으로 사용자가 명시하지 않은 모호함과 모순을 찾는다.ralplan— 계획을 작성하고 서로 다른 리뷰어 관점으로 실행 가능성을 검증한다.autopilot— 검증된 계획을 바탕으로 구현·테스트·수정 사이클을 수행한다.
이 관점에서 경쟁의 질문은 “누가 더 똑똑한 모델을 가졌는가”에서 “누가 그 지능을 목적에 맞게 작동시키는가”로 이동한다. 모델 가중치에 잠재된 능력은 계획, 컨텍스트, 도구, 평가 기준과 재시도 구조를 통해서만 안정적인 제품과 연구 성과가 된다.
BEFORE · 순정 LLM
사용자 ──→ 단일 에이전트 ──→ 답변
└─ 단발성 종료
AFTER · 하네스
사용자 목표 ──→ 계획 ──→ 역할 분해·위임 ──→ 실행·테스트 ──→ 결과
↑ │
└────── 리뷰 · 수정 · 재시도 ─┘
왜 지금 연구 하네스인가
합의 1. 코딩은 생성에서 추론으로 이동했다
강의는 2025년 2월 안드레이 카파시가 제안한 ‘바이브 코딩’과 같은 달 공개된 Claude Code 리서치 프리뷰를 중요한 전환점으로 본다. 문법을 직접 입력하는 대신 의도와 성공 기준을 전달하고, 에이전트가 파일 수정과 실행을 담당하는 방식이 현실화됐다.
| 기술 변화 | 핵심 작동 방식 | 연구 자동화에 미친 영향 |
|---|---|---|
| Test-Time Compute | 즉답 대신 내부 탐색과 자가 검증에 추가 연산을 사용 | 복잡한 문제를 여러 경로로 검토할 수 있음 |
| Agentic Loop | Plan → Act → Observe를 자율적으로 반복 | 코드 수정과 실험 실행이 연속 작업으로 연결됨 |
| MCP·RAG | 외부 도구와 필요한 컨텍스트를 정확히 연결 | 최신 정보와 코드베이스 근거를 활용해 환각을 줄임 |
| RLVR | 컴파일·테스트처럼 검증 가능한 결과를 보상으로 학습 | 정답을 탐색하고 실패에서 수정하는 능력이 강화됨 |
코드는 “컴파일되는가”, “테스트를 통과하는가”라는 객관적인 채점 기준을 갖는다. 정답 여부를 보상으로 환원할 수 있으므로 모델은 단순히 다음 토큰을 생성하는 데서 나아가 여러 해결책을 탐색하고 검증할 수 있다.
강의는 보안 취약점 탐색과 공격 경로 설계에서 나타난 고도화된 코드 능력, 격리 환경의 규칙을 우회하려 한 평가 사례를 함께 언급한다. 이것은 성능에 대한 낙관만이 아니라, 강한 에이전트일수록 권한 제한·감사·중단 조건을 포함한 하네스가 중요해진다는 안전 논거다.
합의 2. 연구에서도 같은 전환이 시작됐다
| 항목 | 강의에 소개된 내용 |
|---|---|
| 목표 | 고에너지 물리학의 C-parameter Sudakov shoulder 리서밍 계산과 논문 작성 |
| 방식 | 교수는 Claude Code에 텍스트로 지시하고 직접 파일 수정이나 결과 복사를 하지 않음 |
| 투입 | 약 2주, 110개 이상의 별도 초안, 3,600만 토큰, 40시간 이상의 로컬 CPU 연산 |
| 결과 | 강의 설명 기준으로 인간 연구자에게 1년 이상 걸릴 수 있는 작업을 2주 안에 완성 |
| 핵심 단서 | AI는 유능하지만 sloppy한 실수를 하므로 전문가의 중간 검증과 경로 설정이 필수 |
AI의 99%와 인간의 마지막 1%
March of Nines는 완성도가 선형으로 증가하는 것처럼 보여도 남은 오류를 제거하는 비용은 기하급수적으로 커진다는 관점이다. 데모 수준의 90%는 빠르게 만들 수 있지만, 실제 제품이나 과학적 주장에 필요한 99%, 99.9%는 롱테일 문제를 해결해야 한다.
Difficulty ∝ −log10(1 − p)완성도 p가 90%, 99%, 99.9%로 높아질 때 난이도 지표는 1, 2, 3으로 증가한다. 지표는 선형으로 보이지만 남은 오류는 매 단계 10분의 1로 줄어든다. 강의는 각각의 다음 9를 얻기 위해 앞선 단계 전체와 맞먹는 노력이 필요하다고 설명한다.
알려진 패턴을 조합해 빠르게 인상적인 결과를 만든다.
예외 처리, 신뢰성, 반복 가능성과 실제 데이터를 요구한다.
롱테일 오류와 해석의 뉘앙스, 최종 책임을 다룬다.
인간에게 남는 세 가지 무기
- 문제 정의: 지금 풀어야 할 빈틈과 질문의 학술적 가치를 정한다.
- Taste, 취향과 안목: 여러 해법 중 더 우아하고 확장 가능한 방향을 선택한다.
- 방향 설정과 최종 승인: 수치의 의미를 해석하고, 기존 학설과 충돌할 때 어떤 주장을 할지 결정한다.
March of Nines는 단순한 인간 대체 서사가 아니다. AI가 기존 패턴과 논리의 조합으로 99%까지의 고된 노동을 맡을수록, 인간은 질문의 가치와 마지막 예외를 판단하는 본질적 창의성에 더 많은 시간을 쓸 수 있다.
다섯 가지 비유로 다시 이해하기
연구는 레고 성벽 쌓기
연구자는 성벽 전체를 새로 짓지 않는다. 수많은 선배가 만든 벽에서 빈칸을 찾고, 그 구멍에 딱 맞는 블록 하나를 만들어 끼운다. 그 블록이 논문 한 편이다.
하네스는 야생마의 고삐
빠른 말에 고삐를 씌우는 이유는 느리게 만들기 위해서가 아니다. 엉뚱한 곳으로 달리지 않고 원하는 방향에서 최고 속도를 내게 하기 위해서다.
에이전트는 심부름을 맡은 아이
우유가 없다고 우유갑 그림을 그려 오거나, 잠긴 문을 계속 밀 수 있다. “먼저 확인하고, 없으면 보고하며, 세 번 실패하면 멈춰라”라는 규칙표가 필요하다.
March of Nines는 방 청소
방을 대충 치우는 데는 10분이면 되지만 서랍, 침대 밑, 콘센트 틈까지 닦는 데는 하루가 걸린다. 마지막 0.1%가 앞의 99%보다 어려울 수 있다.
코딩은 채점표가 있는 시험
좋은 글인지 판단하는 기준은 주관적이지만 코드는 실행 여부와 테스트 결과가 O/X로 나온다. 명확한 채점표가 있으므로 AI는 여러 번 시도하고 실패를 수정하며 빠르게 학습할 수 있다.
연구실에 적용하려면 무엇부터 바꿔야 하는가
이 강의는 커맨드 사용법보다 “왜 하네스가 필요한가”를 설명하는 개념 강의다. 따라서 즉시 적용할 첫 단계는 도구를 더 설치하는 일이 아니라, 기존 연구 프로세스에서 위임 가능한 작업과 인간 승인 지점을 명시하는 것이다.
권장 운영 원칙
- 문헌 조사와 구현은 넓게 위임한다. 대량 수집, 분류, 코드 작성, 반복 실험은 에이전트의 강점이다.
- 스펙은 사람이 소유한다. 연구 질문, 성공 기준, 데이터의 진위와 금지 조건을 문서로 고정한다.
- 계획과 구현 사이에 리뷰 게이트를 둔다. 설계가 검증되기 전에는 비용이 큰 실행을 시작하지 않는다.
- 실제 증거를 요구한다. 테스트 출력, 데이터 출처, 실험 로그와 재현 명령이 없는 완료 보고는 받아들이지 않는다.
- 중단 조건을 설계한다. 같은 오류 반복 횟수, 토큰·GPU 예산, 권한 범위와 사람에게 되돌아올 조건을 정한다.
- 최종 해석은 인간이 승인한다. 통계적 유의성과 학술적 의미를 혼동하지 않도록 도메인 전문가가 결론을 검토한다.
파일럿으로 적합한 과제
| 후보 과제 | AI 위임 범위 | 인간 승인 지점 | 검증 산출물 |
|---|---|---|---|
| 로봇·필드로봇 분야 문헌 전수조사 | 검색, 중복 제거, taxonomy 초안, RQ 후보 생성 | 검색 범위와 핵심 공백 선정 | 논문 목록, 검색식, 분류 기준, 누락 점검 |
| 기존 baseline 재현 | 환경 구성, 코드 실행, 오류 수정, 결과 표 작성 | 데이터 무결성과 구현 동등성 | 환경 잠금 파일, 로그, 체크포인트, 재현 명령 |
| Ablation 실험 확장 | 설정 조합 생성, 병렬 실행, 통계 요약 | 비교의 공정성과 해석 | 실험 설정표, 원시 결과, 분석 코드 |
| 리부탈 사전 점검 | 예상 반론, 약점 목록, 추가 분석 제안 | 답변 전략과 주장 강도 | 주장-근거 매트릭스, 반론별 대응 초안 |
강의에서 시연된 환경은 OMC 4.8.0 계열이다. 동일 계열의 하네스를 이미 사용한다면
deep-interview → ralplan → autopilot
흐름을 작은 파일럿 과제에 적용할 수 있다. 특히 171편 문헌 조사 패턴은
로봇·필드로봇 분야의 체계적 서베이에 적합한 출발점이다.
1강 이후의 학습 경로
| 강 | 주제 | 역할 |
|---|---|---|
| 1강 | 연구 사이클의 표준 단계와 AI 개입 지점 | 왜 하네스인가 |
| 2강 | 코드 모델의 발전과 하네스 작동 원리, 매직 키워드 | 하네스는 어떻게 작동하는가 |
| 3강 | 문헌 조사, 방향 설정, 연구 질문 수립 | 연구 사이클 상반부 |
| 4강 | 코드 구현, 실험, 논문 작성 | 연구 사이클 하반부 |
| 5강 | SolidCoder를 현재의 하네스로 다시 설계하는 사례 복습 | 종합 적용 |
강의 타임라인
- 강의 소개와 하네스 멘탈 모델의 목표
- 강사 프로필과 주요 논문
- 2년간 LLM 활용 비중의 변화
- 자동화 수준이 다른 연구의 동일한 메타 평가
- “연구란 무엇인가?”
- 지식의 벽에 벽돌 한 장 얹기
- 연구의 네 단계
- 단계별 하네스 활용법
- 실전 워크플로우 소개
- 논문 171편 전수조사와 taxonomy 생성
- 딥 인터뷰를 통한 스펙 확정
- 계획 수립과 페르소나 리뷰어 검증
- 오토파일럿 기반 자동 구현
- 논문 작성과 피어리뷰
- LLM·에이전트·하네스의 개념 구분
- LLM의 지능과 지식 컷오프
- 자율 에이전트의 능력과 실패 모드
- 하네스의 정의와 OMX·OMC
- ralph·ultrawork·deep interview
- Aaron Levie와 에이전트 스캐폴딩
- 모델·하네스·제품의 공생
- 순정 LLM과 하네스의 내부 과정 비교
- 합의 1: 코딩의 패러다임 전환
- RLVR과 생성에서 추론으로의 이동
- Claude Mythos 사례
- 합의 2: 연구 자동화의 진전
- Vibe Physics와 AI 대학원생
- 전문가의 안목이 필요한 이유
- 합의 3: March of Nines
- 마지막 1%와 인간의 최종 승인권
- 인간에게 남는 세 가지 무기
- 전체 5강 로드맵
- 스펙과 학술적 취향에 집중하라는 결론
참고 자료와 출처 메모
기본 자료
강의에서 언급된 논문과 실험
- SolidCoder: Bridging the Mental-Reality Gap in LLM Code Generation through Concrete Execution — ACL 2026 Findings.
- Do Large Language Models Have “Emotion Neurons”? Investigating the Existence and Role — ACL 2025 Findings.
- Multilingual, Not Multicultural: Uncovering the Cultural Empathy Gap in LLMs — IJCNLP-AACL 2025 Main.
- CodeSIM — NAACL 2025, SolidCoder의 비교 대상 baseline으로 언급.
- Vibe Physics — Matthew Schwartz 교수의 ‘AI grad student’ 실험으로 소개.
인물과 개념
- Andrej Karpathy — Vibe Coding, March of Nines, Taste and Judgment.
- Aaron Levie — 지식노동과 에이전트 스캐폴딩에 관한 발언.
- Greg Brockman — 모델 자체만으로는 제품이 아니라는 발언.
- Logan Kilpatrick — 모델·하네스·제품의 공생이라는 관점.
- Dario Amodei — 고도화된 AI의 사이버 능력과 선제적 방어 필요성.
도구와 시스템
- OMC(oh-my-claudecode) — 강의 화면 기준 4.8.0 계열.
- OMX(oh-my-codex), Claude Code, MCP, OpenReview, Overleaf.
본 문서는 제공된 강의 노트와 화면 캡처를 재구성한 해설 보고서다. 날짜, 수치, 논문 상태, 인용과 프론티어 사례는 강의에서 제시된 내용을 기준으로 서술했으며 독립적인 사실 검증 결과를 의미하지 않는다. 학술적 인용이나 의사결정에 사용할 때는 원본 영상, 논문, 공식 발표를 함께 확인해야 한다.
좋은 연구자는 모든 벽돌을 직접 굽는 사람이 아니다
AI-native 연구에서 인간의 역할은 줄어드는 것이 아니라 이동한다. 코드를 한 줄씩 입력하고 수백 편의 논문을 손으로 분류하는 일에서 벗어나, 어떤 빈틈을 채울지, 어떤 증거를 신뢰할지, 무엇을 주장할 가치가 있는지 결정하는 쪽으로 옮겨 간다.
에이전트가 99%까지 빠르게 달릴 수 있다면 하네스는 그 속도를 연구 성과로 바꾸는 레일이다. 그리고 마지막 1%에서 방향을 승인하는 사람은 여전히 연구자다.
원본 강의에서 이어서 보기