GPT-6 아스트라, 미공개 물리 문제 98% 해결…전문가 오류도 발견

AI타임스(임대준 기자) 기사 전체를 읽고 정리했어요. 원문이 한국어라 번역보다는 재구성이에요. arXiv 논문 원문은 따로 읽지 않았어요.

벤치마크

인도 국제이론과학센터(ICTS), 타타 기초과학연구소, 펜실베이니아대, 구글 딥마인드 등 연구진 35명이 10월 9일 TheoPhysEval 논문을 공개했어요.

• AI 에이전트가 실제 이론물리 연구 문제를 얼마나 자율적으로 푸는지 보는 시험이에요. 검색·코드 실행 도구를 붙여 최종 답을 얻는 능력을 재요.
• 고전물리부터 양자장론, 입자물리, 중력·우주론까지 11개 분야, 미공개 문제 50개예요. 예를 들어 5차원 블랙 스트링 연구를 찾아 조건을 4차원으로 바꿔 수치 계산하는 식이에요.
• 전문가가 보통 하루 안에 풀 수준이고, 물리학의 큰 미해결 난제는 제외했어요.

결과 (웹 검색·코드 실행 허용)

| 모델 | 정답 수(50문제) | |---|---| | GPT-6 아스트라 | 49 (API 비용 총 116.28달러, 문제당 약 2.33달러) | | 오퍼스 5.5 | 46 | | 제미나이 3.8 플래시 | 34 | | 딥시크-V4.1 플래시 | 27 | | GLM-5.3 | 21 |

인터넷을 끊은 조건에서는 아스트라와 오퍼스 5.5가 각각 46개를 맞혔어요. 아스트라가 끝내 못 푼 문제는 주어진 곡선을 만들어 내는 미분방정식을 거꾸로 찾는 과제였고, 다른 모델도 실패했어요.

전문가 답안의 오류

공동 저자 수브랏 라주에 따르면 아스트라의 초기 점수는 80점대 후반이었어요. 오답으로 분류된 답을 검토하자 아스트라는 자기 답이 맞고 전문가 답안이 틀렸다고 주장했고, 출제자들에게 다시 확인하니 여러 계산에서 미묘한 오류가 나왔어요. 답안을 고치자 최종 정답률이 98%가 됐어요. 라주는 "이런 날이 이렇게 빨리 올 줄 몰랐다", "며칠 밤 제대로 못 잤다"고 했어요. 경제학자 알렉스 타바록은 AI를 시험하려던 평가가 AI로 전문가 계산을 검증하는 상황이 됐다고 평했어요.

한계와 의미

• 에이전트별로 한 번씩, 최종 답 기준으로만 평가했어요. 일부 출제자가 풀이에 AI 도구를 써서 문제·정답이 모델 쪽에 노출됐을 가능성을 완전히 배제하지 못했어요.
• 이런 과제는 대학원생 교육에 쓰여 왔기 때문에, 앞으로는 계산 과정을 배우는 목적을 분명히 해야 한다고 봤어요.
• 연구진은 에이전트가 구체적 계산은 높은 정확도로 하지만, 연구할 문제를 고르거나 막혔을 때 방향을 바꾸는 데는 서툴다고 지적했어요.