Research: Matching Claude Code + Sonnet 5.5 design quality with DeepSeek/GLM Flash models and a custom harness

Reddit은 API 키 없이 읽지 않고 Wayback 스냅샷도 없어 원문 페이지를 열지 못했어요. 수집기가 받은 RSS 본문(게시물 앞부분)을 기준으로 옮겼고, 첨부 이미지와 댓글은 보지 못했어요. 글쓴이 스스로 예비 결과라고 밝혔어요.

무엇을 만들었나요

글쓴이는 소셜·마케팅·인쇄물 디자인용 맞춤 에이전트 하네스 Rivermark를 만들고 있어요. 프런티어 모델도 웹사이트나 앱 디자인보다 이런 디자인에서는 결과가 들쭉날쭉하다는 문제의식에서 출발했대요.

실험

기업이 에이전트에게 부탁할 만한 소셜·마케팅 이미지 요청 112개로 벤치마크를 짰어요. 브랜드 키트가 있는 요청, 브랜드 웹사이트만 참고로 준 요청, 아무것도 없이 시작하는 요청이 섞여 있어요. 4,700건이 넘는 1:1 블라인드 사람 평가로 첫 결과를 냈대요.

결과

• 예상 밖으로, DeepSeek v4.1 Flash 1017과 GLM 5.3 Flash 같은 오픈 모델이 Rivermark와 함께 쓸 때 기본 Claude Code + Sonnet 5.5 + /design과 비슷하거나 더 나았대요.
• 가장 크게 좋아진 건 Sonnet 5.5 자체였어요. Rivermark와 함께 쓰면 다른 모든 조합을 크게 앞섰대요. "더 똑똑한" 모델은 이미 노하우를 갖고 있어 이득이 작을 줄 알았는데 반대였다고 해요.

글쓴이는 디자인 전용 하네스이고 도메인 지식이 일부 들어 있다는 점, 프런티어 모델이 좋아지면 이런 이점은 사라지는 경향이 있다는 점을 주의 사항으로 들었어요. 지금은 더 많은 평가자로 검증하며 블로그 글을 쓰는 중이래요.