Type: Web Article (Blog) Author: Wenqi Huang, Charley Lee, Leonard Tng, Serena Ge Original Date: 2026-05-26 Source URL: https://deepswe.datacurve.ai/blog
요약
DeepSWE는 장기 소프트웨어 엔지니어링 벤치마크로, 오염 없는 작업, 높은 다양성(91개 저장소, 5개 언어), 실제 복잡성(평균 668줄 코드 추가), 신뢰할 수 있는 검증(0.3% 거짓양성)을 제공한다. 기존 SWE-bench Pro(8% 거짓양성, 24% 거짓음성)보다 훨씬 정확한 모델 간 성능 차이를 보여준다. 리더보드에서 gpt-5.5가 70%로 가장 높았으며, 모델 간 점수 차이는 70% 포인트로 SWE-bench Pro의 30%보다 넓다.
주요 인사이트
- 오염 문제 해결: 기존 벤치마크는 GitHub 이슈/PR에서 작업을 가져와 사전학습 데이터에 노출될 위험이 있지만, DeepSWE는 모든 작업을 처음부터 작성한다.
- 검증기 정확성: DeepSWE의 수작업 검증기는 LLM 분석 결과 1.4%만이 인간 판단과 불일치한 반면, SWE-bench Pro는 32%가 불일치했다.
- 실제 작업과의 일치성: 프롬프트는 짧고 자연스러우며, 에이전트는 탐색과 설계를 스스로 수행해야 한다. 이는 실제 개발자-에이전트 상호작용과 더 유사하다.
- 비용 대비 효율성: 통과율과 함께 토큰 수, 시간, 비용을 측정하여 성능의 전체 그림을 제공한다.
세부 사항 / 주목할 점
- 저장소 선정 기준: 공개, 활발한 유지보수, ≥500 GitHub 스타, 허용적 라이선스
- 언어: TypeScript (35), Go (34), Python (34), JavaScript (5), Rust (5)
- 평가 도구:
mini-swe-agent(모델 독립적, 모든 모델에 동일한 시스템 프롬프트와 bash 도구) - 품질 보증: LLM 분석 + 인간 검토, 네 가지 차원(프롬프트-검증기 전단사, 수용 폭, 현실성, 환경 청결성) 평가
- 비교 실험:
mini-swe-agent가 네이티브 도구(Claude Code, Codex CLI, Gemini CLI)와 동등하거나 더 나은 성능 - 리더보드 점수는 2026년 5월 26일 스냅샷이며, 최신 결과는 웹사이트에서 확인 가능