Show HN: Gemini 4 Argon plays StarCraft

StarSkirmish Bench v0.2 원문 페이지를 읽고 옮겼어요. 그래프 값은 본문에 적힌 것만 썼어요.

무엇을 재나

LLM은 채굴만 하는 뼈대 봇과 데모 봇 3개 소스, 전투 시뮬레이터 FAP·지도 분석기 BWEM을 받고 1시간 안에 BWAPI 4.4.0용 프로토스 봇을 C++로 작성해요. 연습 게임을 돌리고 게임 요약·로그를 읽으며 봇을 고칠 수 있어요. 시간이 끝났을 때 폴더에 있는 봇이 최종 봇이라 계속 컴파일되게 유지해야 해요. 장기 추론과 에이전트 코딩을 함께 보는 시험이에요.

v0.2에서 바뀐 점

• OpenAI·Anthropic·Google·Meta 플래그십을 각 연구소의 1차 CLI 하네스(Claude Code, Codex, Antigravity CLI, Muse Code)에서 최고 추론 설정으로 돌려요. Gemini 4 Argon은 지원하는 최고치인 high예요.
• 웹 검색·fetch는 꺼요. 컨텍스트는 약 25만 토큰에서 압축돼요.
• Elo 대신 고정 상대 명단에 대한 승률(0–100)로 점수를 매겨요. 모델별 5회 실행의 평균이고, LLM 봇끼리는 붙지 않아서 새 모델을 다른 모델 재경기 없이 채점할 수 있어요.

결과

• GPT-6 Astra가 1위, GPT-6.1 Sol이 2위예요.
• Gemini 4 Argon, Claude Opus 5.5, Claude Fable 5.1은 37–39점으로 사실상 동률이에요. Gemini 4 Argon이 3위, Muse Wonder Full이 7위예요.
• 비용 대비로는 GPT-6.1 Sol이 GPT-6 Astra 비용의 10분의 1 남짓으로 2위를 해서 유일하게 가장 좋은 사분면에 있어요.
• 최강 사람 봇(Stardust, PurpleWave, BananaBrain) 상대로는 1위 GPT-6 Astra도 7%만 이겨요. 포화와는 거리가 멀다고 해요.

모델 행동

점수를 가장 잘 설명하는 건 상위 7개 봇과 연습한 횟수였어요. GPT-6 Astra, GPT-6.1 Sol, Gemini 4 Argon은 자기 봇이 아직 질 때부터 강한 상대와 연습했고, Muse Wonder Full·Claude Haiku 5.5·GPT-6 Luna는 거의 안 했어요. Claude Fable 5.1은 약한 봇과만 연습하고도 37점을 낸 예외예요. 실행 간 편차는 Gemini 4 Argon이 최고·최저 18점 차로 가장 컸어요(GPT-6 Astra 9점, Opus 5.5 8점).

다른 벤치마크와의 관계

Artificial Analysis Intelligence Index와는 상관이 약하고(ρ 0.26), v0.1에서 잘 맞던 Terminal-Bench 4.0과도 멀어졌어요. 반면 C++ 올림피아드 문제(Vals IOI)와 WeirdML v3와는 여전히 함께 움직여요. 원문은 많이 보도되는 평가가 튜닝 목표가 된 반면, 덜 겨냥된 장기·고난도 코딩 시험은 같이 움직인다는 해석을 내놔요.