AI peer review tool for CVPR, ICLR, ICML, and NeurIPS papers [D]

r/MachineLearning 토론 글(작성자 u/DebateAccurate6097)을 레딧 RSS 발췌로 읽고 옮겼어요. 레딧 페이지 직접 접근은 403이라 답글은 보지 못했어요.

소개한 프로젝트

작성자는 깃허브에서 Paper Review Harness라는 프로젝트를 발견했고, ML 논문을 준비하는 사람들에게 유용할 것 같아 공유했대요. 30가지 AI 리뷰어 페르소나로 CVPR, ICLR, ICML, NeurIPS 같은 학회에서 받을 법한 피드백을 시뮬레이션해요.

단순한 "내 논문 리뷰해 줘"와 다른 점

• 서로 다른 관점의 독립 리뷰
• 섹션별 점수와 자세한 비판
• 참신성, 방법론, 실험, 명확성의 약점 식별
• 무엇부터 고칠지 우선순위 피드백
• 이전 지적이 실제로 해결됐는지 추적하는 수정 워크플로
• 학회와 연구 기여 유형에 따라 다른 심사 패널

오픈소스이고 AI 에이전트 환경에서 돌아가도록 설계됐어요. 저장소는 github.com/Optimizer077/paper-review-harness예요.

주의점

작성자도 시뮬레이션 리뷰가 실제 동료 심사를 대신하지 못하고, 점수를 채택 예측으로 보면 안 된다고 했어요. 다만 제출 전에 논문을 스트레스 테스트하는 흥미로운 방법 같다고 봤어요.

질문

연구자들은 이런 접근을 어떻게 보는지, 이런 도구가 논문 작성 워크플로의 유용한 일부가 될 수 있을지 의견을 물었어요. 같은 날 ICLR 심사에 AI를 쓰는지 묻는 글도 올라와, 심사와 AI 도구 사이의 긴장이 커뮤니티 화제였어요.