"성능은 그대로, 비용은 최대 3배"…에이전트 가로막는 '복잡한 하네스'

연구 요지

AI타임스(박찬 기자)에 따르면, 코딩 에이전트의 작업 환경을 복잡하게 꾸며도 코드 정확도는 거의 오르지 않고 추론 비용은 최대 3배까지 늘 수 있다는 연구가 나왔어요. 모델을 둘러싼 도구와 실행 절차, 즉 하네스를 정교하게 짜기보다 불필요한 지시문과 도구 정의를 줄이는 편이 비용 효율에 더 크게 작용한대요.

실험 설계

• 연구진: 중국 산둥대, 미국 UC버클리(arXiv 공개)
• 하네스 3종: Anthropic Claude Code, 오픈소스 OpenCode, 최소 기능의 mini-SWE-agent
• 모델: 오픈웨이트 Qwen3.6-35B-A3B, Qwen3.8-27B, API 기반 DeepSeek-V4-Flash, GLM-5.3-Flash, HY4-Preview. 상위 기준으로 Claude Code에서 돌린 Claude Opus 5도 포함
• 평가: SWE-bench Verified 오프라인 과제 492개(사람이 1–4시간 이상 걸리는 어려운 45개와 나머지 447개를 나눠 분석)

결과: 정확도

• 기능이 많은 하네스가 경량 하네스보다 일관되게 정확하지 않았어요.
• 어려운 과제에서 하네스를 바꿀 때마다 약 13%의 문제가 성공과 실패를 오갔는데, 같은 하네스로 반복해도 비슷한 비율로 흔들렸어요. 하네스 차이로 보인 상당 부분이 실행마다 생기는 확률적 노이즈라는 뜻이에요.
• 모델 제작사가 자기 모델에 맞춘 하네스라고 더 좋지도 않았어요. DeepSeek 공식 CLI 하네스는 성공률은 다른 하네스 범위 안이었지만 과제당 비용이 가장 높았어요.
• OpenCode는 큰 과제에서 최대 9%p 낮았는데, 그 절반가량은 출력 토큰 한도(32,000개)에 걸려 패치를 쓰기 전에 멈춘 탓이었어요. Claude Code는 같은 한도에서 출력을 이어가도록 자동으로 요청하는 회복 기능이 있었대요.

결과: 비용

| 항목 | Claude Code | mini-SWE-agent | |---|---|---| | 시스템 프롬프트·도구 정의 고정 문맥 | 1만 토큰 이상 | 800토큰대 |

같은 모델·과제라도 하네스에 따라 과제당 비용이 최대 3배 차이 났고, 격차는 첫 API 호출부터 생겨 단계가 늘수록 커졌어요. 다만 가장 싼 하네스가 모든 모델에서 같지는 않았어요. DeepSeek 모델에선 mini-SWE-agent가 호출을 더 많이 해 비용이 역전되기도 했대요.

연구진의 조언

• 한 번의 실행 결과로 복잡한 하네스가 낫다고 판단하지 말고, 반복 검증과 충분한 과제 수로 실행 간 변동을 확인해야 해요.
• 복잡한 실행 환경을 무조건 도입하기보다 시스템 프롬프트와 도구 정의를 간소화하고, 실제 쓰는 모델에서 비용과 성능을 반복 측정해 개선이 확인된 기능만 남기라고 해요.