여러 AI 모델이 TypeScript로 오프라인 YouTube 플레이어를 구현하는 코딩 작업에서 비교된 벤치마크. 사용자가 요구한 핵심 기능은 폴더 내 동영상 인덱싱, SQLite 메타데이터 저장, YouTube 스타일 웹 인터페이스 제공, 시청 위치 동기화이다.
Overview
2026년 6월, Anthropic의 새로운 모델 Fable 출시를 계기로 Reddit 사용자 floriandotorg가 7개의 최신 AI 모델을 동일한 코딩 작업으로 비교 테스트를 진행했다. 테스트는 단일 프롬프트로 전체 애플리케이션을 생성하는 능력, 기능 완성도, 프롬프트 충실도, 비용 효율성을 종합적으로 평가했다. 결과는 모델마다 접근 방식과 결과물의 완성도가 크게 달랐으며, 특히 프롬프트를 충실히 따르는 것과 사용자의 의도를 확장 해석하는 것 사이의 균형이 주요 차이점으로 드러났다.
Background
AI 코딩 어시스턴트는 단순한 코드 생성에서 벗어나 복잡한 요구사항을 이해하고 완전한 애플리케이션을 구축하는 방향으로 발전하고 있다. 모델 비교는 주로 정형화된 벤치마크에 의존했으나, 실제 사용자 경험과 종단간 작업 수행 능력을 측정하는 비정형 테스트의 중요성이 커지고 있다. 이 테스트는 특히 “no fancy stuff”라는 명시적 지시를 모델이 어떻게 해석하고 실행하는지에 초점을 맞췄다.
How It Works
테스트 방법론
- 작업: TypeScript로 오프라인 YouTube 플레이어 구축
- 기능 요구사항: 폴더 인덱싱, SQLite DB 저장, 웹 UI, 시청 위치 동기화
- 평가 기준: 기능 완성도, 프롬프트 충실도, 추가 기능의 적절성, 비용, 시간
- 모든 코드는 검토 없이 최종 제품만 평가됨
모델별 결과
| 모델 | 입력 토큰 | 출력 토큰 | 비용 | 시간 | 주요 특징 |
|---|---|---|---|---|---|
| glm-5.1 | 199k | 24k | $0.443 | ~10분 | 가장 안정적, 추가 기능 없음 |
| gpt-5.5 | 98k | 29k | $1.761 | ~10분 | 검색/추천 추가, 비작동 사이드바 |
| qwen-3.7-max | 129k | 16k | $0.450 | ~10분 | 실시간 검색, 기본 탄탄 |
| gemini-3.5-flash | 294k | 34k | $0.906 | ~5분 | 가장 많은 기능, 하지만 버그 있음 |
| claude-opus-4-8 | 96 | 33k | $1.820 | ~15분 | 기본 수준, 비효율적 |
| claude-opus-4-6 | 7.2k | 12k | $0.758 | ~5분 | 효율적, bun 사용 |
| claude-fable-5 | 58 | 14k | $1.563 | ~5분 | 기본, 비용 높음 |
| qwen3.6:35b-a3b (로컬) | 8.3M | 78k | $0.00 | ~40분 | 무료, 정렬 기능, 위치 미복원 |
Key Ideas
- 프롬프트 충실도 vs 확장 해석 — glm-5.1은 지시를 가장 충실히 따라 안정적인 결과를 냈고, gemini-3.5-flash는 사용자가 명시적으로 원하지 않은 추가 기능을 많이 구현했다. 사용자는 “좋은 개발자는 의도를 확장 해석한다”며 후자를 긍정적으로 평가했다.
- 비용 효율성 — glm-5.1(0.450)가 가장 저렴하면서도 핵심 기능을 완벽히 구현했다. 반면 gpt-5.5(1.820)은 더 높은 비용에도 더 나은 결과를 제공하지 못했다.
- 로컬 모델의 가능성 — qwen3.6 로컬 모델은 비용 0으로 기능적인 결과물을 냈으며, 정렬 옵션과 챕터 리스트 같은 독창적 기능을 추가했다. 오프라인 환경에서도 실용적 수준의 코딩 지원이 가능함을 보여주었다.
- Gemini의 과잉 설계 — gemini-3.5-flash는 가장 많은 기능(필터, 채널 사이드바, 재인덱스 등)을 추가했지만 동시에 가장 많은 버그(동영상 누락, CDN 의존성)를 가지고 있었다. 기능과 안정성 사이의 트레이드오프가 명확하게 드러났다.
Examples / Use Cases
- 작성자는 최종적으로 gemini-3.5-flash 버전을 기반으로 수정하여 실제 사용했다. Gemini가 제공한 아이디어(필터, 채널 분류)는 유용했지만 구현상의 버그를 직접 수정해야 했다.
- 사용자는 향후 작업에서 Gemini는 아이디어 발굴과 프론트엔드 디자인에 활용하고, 실제 구현은 다른 모델(glm, qwen)에 맡기는 전략을 제안했다.
Limitations / Considerations
- 테스트가 단일 작업에 한정되어 일반화에 주의가 필요하다. 댓글에서 지적되었듯이, 더 복잡한 프로젝트에서는 결과가 달라질 수 있다.
- “속도”를 주요 지표로 사용하는 것에 대한 논란이 있다. 고급 모델이 단순 작업에서 느리더라도 복잡한 작업에서는 더 나은 성능을 보일 수 있다.
- 프롬프트에 대한 충실도 평가는 주관적이다. “no fancy stuff”라는 지시를 위반한 Gemini의 추가 기능을 장점으로 볼지 단점으로 볼지는 관점에 따라 다르다.