Type: GitHub Repository Author: Andrej Karpathy Original Date: 2026-06-03
Summary
autoresearch는 AI 에이전트가 단일 GPU에서 nanochat 훈련을 자동으로 실험하게 하는 연구 자동화 도구입니다. 에이전트는 코드를 수정하고, 5분 동안 훈련하며, 결과를 평가하고 반복합니다. 연구자는 program.md 파일을 통해 에이전트의 전략을 제어합니다. 이 저장소는 단일 GPU 환경에 최적화되어 있으며, AI 연구 자동화의 진입점으로 설계되었습니다.
Key Insights
- AI 에이전트가 연구를 자율적으로 수행 — 연구자가 직접 실험을 설계하고 실행하는 대신, AI 에이전트가 이 과정을 자동화합니다.
- 단일 파일 수정 — 에이전트는
train.py만 수정하여 범위를 제한하고 변경 사항을 추적 가능하게 합니다. - 고정 시간 예산 — 5분의 고정 훈련 시간은 실험 간 공정한 비교를 보장하지만, 다른 플랫폼과의 비교는 불가능하게 합니다.
- 인간-에이전트 협업 — 연구자는
program.md를 통해 에이전트의 행동을 지시하고, 에이전트는 세부 실험을 자동화합니다.
Details / Notable Points
- 메트릭: val_bpb (validation bits per byte), 낮을수록 좋음.
- 시간당 약 12회 실험, 수면 시간 동안 약 100회 실험 가능.
prepare.py는 수정되지 않으며,train.py만 에이전트가 수정.- NVIDIA H100에서 테스트되었으며, Python 3.10+ 필요.
- 작은 플랫폼에서 실행하려면 TinyStories 데이터세트 사용,
vocab_size감소,MAX_SEQ_LEN감소,DEPTH감소 등의 조정 필요.