Show HN: Parsimony – an open-source benchmark for how much code AI models add

Parsimony 사이트(parsimony.lasu.dev)의 설명과 방법론 부분을 옮겼어요. 순위표 수치는 페이지에서 동적으로 그려져 옮기지 못했어요.

왜 필요한가

기존 벤치마크는 해결률과 비용을 재지만, 과잉 코드에는 벌점을 주지 않아요. 코드가 불필요하게 늘면 장기적으로 코드베이스를 다루기 어려워지죠. Parsimony는 AI 모델이 코드를 얼마나 추가하는지를 재요.

측정 방법

• 벤치마크가 이미 공개한 패치를 가져와 코딩 단위(coding units)를 세요. 문장, 호출, 비교, 이름, 리터럴 같은 구문 요소예요.
• 줄 수는 세지 않아서 한 줄에 몰아 쓰는 건 이득이 없어요.
• 삭제한 코드는 빼요: 순 단위 = 추가 − 삭제.
• 각 패치를 작업 코드에 적용하고 바뀐 파일의 전후 버전을 파싱해요. 아무것도 실행하지 않아요.
• 테스트, 문서, 생성 파일은 제외하고 Python만 재요.

순위 읽는 법

• 모델은 푼 문제에서의 평균 순 단위가 적은 순으로 순위를 매겨요. '평균 순 단위'에는 실패한 시도도 포함돼요.
• 해결 여부는 SWE-bench Verified 공개 결과를 쓰고 테스트를 다시 돌리지 않아요.
• Artificial Analysis Intelligence Index는 외부 점수로, 모델과 추론 강도에 맞춰 붙였지만 순위에는 영향이 없어요.
• 흐리게 표시된 모델은 제작자가 DeepSWE Python 과제 앞쪽 3–10개를 직접 돌린 것(OpenAI 모델은 pi, Anthropic 모델은 Claude Code)이라 검증·순위 대상이 아니에요. GPT-5.6 Sol은 두 방식 모두 돌렸는데, 직접 돌린 쪽이 공개 결과 대비 0.88배 코드를 추가했대요.

한계

• 작다고 늘 좋은 건 아니에요. 단위는 크기를 잴 뿐 가독성이나 설계를 재지 않아요.
• 코드를 많이 쓰는 모델이 문제도 더 많이 푸는 경향이 있어요(모델 26개 이상 보드에서 스피어만 0.33–0.60).
• 모든 모델이 같은 에이전트(mini-SWE-agent)를 쓰지만 에이전트 자체도 코드 양에 영향을 줘요.

예시와 확장

같은 결과를 내는 두 함수, 즉 for 루프로 플래그를 세우는 버전과 any(value < 0 for value in values) 한 줄 버전을 비교 예시로 보여 줘요. 다른 벤치마크의 코드 크기 수치가 있으면 예시 JSON을 받아 채워 열어 보면 같은 차트와 표를 만들 수 있고, 파일은 브라우저 밖으로 나가지 않아요.