사카나 AI, LLM 기반 동료 검토 시스템으로 논문 핵심 주장 오류 73% 적발

AI타임스 박찬 기자의 기사예요. 한국어 원문이라 핵심을 해설 형식으로 정리했어요.

무엇을 발표했나

사카나 AI 연구진은 8일(현지시간) arXiv에 낸 논문 "Beyond Imitation"에서 새 평가 기준 모순 벤치마크(Contradiction Benchmark)와 다층 검토 시스템 MLR(Multi-Layered Review)을 발표했어요. 기존 AI 논문 심사 연구가 사람 심사자 의견과 얼마나 비슷한지를 주로 쟀다면, 이번 연구는 논문의 논리적 모순과 오류를 실제로 찾아내는 능력에 초점을 맞췄어요. MLR은 핵심 주장에 삽입된 오류를 4회 검토 기준 73.43% 적발했고, 비교 시스템 중 최고였던 AgentReview(14.81%)의 약 5배예요.

모순 벤치마크

ACL, AISTATS, CVPR, ICML 등 2025년 주요 학회와 NeurIPS 2024 논문 257편에 1,164개 논리적 모순을 넣었어요. 무작위로 문장을 바꾸지 않고, 제미나이 2.5 프로로 각 논문의 핵심 주장·근거·방법론·실험 결과를 잇는 지식 그래프를 만든 뒤 핵심 주장과의 관계로 오류 심각도를 나눠 모순을 삽입했어요. 핵심 주장을 뒤집는 오류와 세부 구현을 바꾸는 오류는 타당성에 미치는 영향이 다르기 때문에, 핵심 주장에 직접 연결된 오류를 가장 중요한 탐지 대상으로 삼았어요.

결과

MLR은 단 한 번 검토로도 핵심 오류의 60.79%를 찾았어요. 여러 번 돌려야 성능이 크게 오르는 기존 시스템과 대비돼요. 다만 이 오류들은 인위적으로 넣은 것이고 일부는 문맥상 부자연스러운 표현을 포함해, 더 쉽게 발견됐을 수 있다고 연구진도 인정했어요.

MLR의 구조

논문을 충분히 이해한 뒤 심사 의견을 쓰도록 설계했고, 세 에이전트로 이뤄져요.

• 부록 에이전트: 클로드 하이쿠 3.5로 실험·구현 세부를 요약해요.
• 선행 연구 검토 에이전트: 클로드 소네트 4로 관련 연구를 조사해 독창성과 기존 연구와의 관계를 살펴요(생략 가능).
• 심사 에이전트: 클로드 소네트 4로 본문을 세 번 읽어요. ① 전체 구조와 핵심 아이디어 정리 ② 주장과 근거를 대조하며 약점·가정·논리적 공백 찾기 ③ 앞선 분석과 부록 요약·선행 연구를 종합해 강점·약점·질문·종합 평가와 점수 작성.

사람이 논문을 읽는 순서에서 착안했고, PDF를 직접 입력해 수식과 그림을 최대한 유지하며 심층 분석은 최대 10쪽으로 제한했어요. 별도 학습 없이 상용 API만 썼고, 선행 연구 검토를 빼면 심사 한 건에 약 0.47달러가 들어요.

실제 철회 논문에선

실제 철회 논문 211편으로 만든 WithdrarXiv-Check 데이터셋에선 성능이 크게 떨어졌어요. 철회 사유와 정확히 일치하는 기준으로 16.11%, 비슷한 유형까지 인정해도 26.07%였어요. 그래도 비교 시스템보다는 나았어요(정확 일치 기존 최고 9%, 완화 기준 AgentReview 18.48%). 실제 오류는 수학적 증명·이론적 타당성 문제처럼 더 복잡하고 다양하며, 철회 사유가 모호하게 적혀 시스템이 실제 문제를 짚어도 일치로 인정받지 못한 경우도 있었어요.

사람과 다른 시선

MLR은 타당성과 실험 결과 검증에 더 무게를 두고, 사람 심사자는 글의 명확성과 독창성을 상대적으로 중시했어요. 기사는 AI가 사람 심사자를 대체하기보다 사람이 놓친 문제를 추가로 찾는 보완 도구가 될 가능성을 보여 준다고 정리해요.