AAII 평가 대폭 개편에 순위 변동…구글 1위·오픈AI 약진

AI타임스 기사의 앞부분(개편 내용과 순위 변화)을 읽고 정리했어요. 과학 분야 세부 결과 이후는 다 읽지 못했어요. 원문은 한국어 기사라 요점만 정리했어요.

무엇이 바뀌었나요

Artificial Analysis(AA)는 27일(현지시간) 종합 성능 지표 Intelligence Index v5를 공개했어요. 1월 v4 이후 가장 큰 개편으로 새 벤치마크 2개를 넣고 기존 평가 3개를 고쳤어요. 지식·추론 문제 비중을 조정하고 실제 코딩과 과학 연구 능력을 더 보게 했으며, 비공개 데이터 비중을 60%로 높여 모델이 공개 문제를 미리 학습해 점수를 올리는 현상을 줄이려 했대요.

순위 변화

• 1위 제미나이 4 카본 59점, 2위 클로드 오퍼스 5.5 58점, 3위 GPT-6 아스트라 57점, 4위 GPT-6.1 솔 55점, 5위 클로드 소네트 5.5 54점이에요.
• AA는 27일 발표 때 오퍼스 5.5를 1위로 소개했지만, 28일 제미나이 4 카본 결과를 추가로 내며 구글 모델이 정상에 올랐다고 밝혔어요.
• 오픈AI 모델의 상승이 두드러졌어요. 개편 직전 v4.3에서 53점으로 공동 5위권이던 GPT-6 아스트라는 57점, 52점으로 공동 8위권이던 GPT-6.1 솔은 55점이 됐어요.
• 제미나이 4 카본은 9개 평가 중 고난도 지식·추론, 과학 연구, 지식 정확성, 업무 자동화 4개에서 최고 성적을 냈고, 제미나이 4 아르곤(50점)보다 9점 높아요. 다만 코딩 에이전트와 일부 지식 업무에서는 경쟁 모델에 뒤졌어요.
• 과학 분야에선 GPT-6 아스트라가 새 평가 Terminal-Bench-Science에서 63%, 고난도 물리 문제 CritPt v2에서 72%로 1위였다고 해요.