학술 논문 읽고 코드 수정하는 자가 진화 에이전트 '스칼라이볼브' 등장

AI타임스 기사를 바탕으로 해요체로 정리했어요. 원 논문(arXiv)은 직접 읽지 않았어요.

무엇이 새로운가요

캘리포니아대 샌타바버라(UCSB)와 마이크로소프트 연구진이 스칼라이볼브(ScholarEvolve)를 arXiv에 공개했어요. 에이전트가 작업 중 드러난 문제를 분석하고, 관련 학술 논문을 찾아 해결책을 구현한 뒤, 실제 성능 평가로 효과를 검증하는 프레임워크예요.

기존 자기개선형 에이전트는 주로 실행 기록을 보고 프롬프트, 메모리, 작업 흐름, 코드를 고쳤어요. 연구진은 이 방식이 이미 겪은 실패와 기반 모델의 지식에 갇힌다고 지적해요.

실패 기록은 부족한 능력을 드러낼 수 있지만, 그 능력을 만드는 데 필요한 기술까지 알려주지는 못할 수 있어요.

동작 순서

1. 학습 데이터의 실패 사례에서 문맥 유지 실패, 구문 오류 복구 같은 일반적인 능력 부족을 찾아요.
2. arXiv 등에서 관련 논문을 검색하고, 비슷한 연구가 반복 선택되지 않게 기술적 접근법별로 분류해요.
3. 연구 에이전트가 논문 전문과 공식 코드를 읽고 구현 계획을 세워요.
4. 코딩 에이전트가 해당 기능을 고치되, 모듈 입출력 규격을 엄격히 지켜 다른 구성 요소에 영향이 없게 해요.
5. 코드 실행, 인터페이스 호환성, 동작 유효성을 자동 점검하고 검증 데이터로 성능을 평가해요.
6. 유전자 알고리즘과 비슷한 교차 결합으로 좋은 모듈을 조합하고, 전체 시스템에서 개선이 확인될 때만 기존 구성을 바꿔요.

에이전트 구조는 도구 인터페이스, 문맥 관리, 스킬, 메모리, 작업 흐름의 5개 모듈로 나뉘어요. 모듈 하나가 좋아도 조합하면 결과가 다를 수 있어 조합을 따로 고른대요.

실제로 바뀐 것

• 도구 인터페이스: 실행 전에 파이썬 AST를 검사해 오류를 잡고, 필요할 때 API 문서를 불러와 존재하지 않는 기능이나 잘못된 인수를 추측하는 문제를 줄였어요.
• 문맥 관리: 작업 관련성과 최근성으로 대화 기록 중요도를 매겨 제한된 토큰 예산 안에서 필요한 정보를 남겨요.
• 스킬: 성공한 작업에서 반복된 API 호출 순서를 뽑아 재사용 가능한 의사코드 템플릿으로 만들어요.

성능

• 앱월드(AppWorld) 일반 테스트: 큐원3.5-27B 작업 완료율 69.0% → 81.4%(+12.4%p). GPT-5.4와의 격차를 약 74% 줄였대요.
• 타우벤치 텔레콤: GPT-5.4 미니 72.7% → 81.9%.
• 앱월드 챌린지(진화에 쓰지 않은 아마존·지메일 API 포함): 49.6% → 63.6%, 기존 메타 하네스보다 9%p 높았어요.
• 파이썬 실행 오류를 겪은 사례의 완료율은 44.9% → 59.9%로 올랐어요.

모델 가중치를 바꾸지 않고 개선하는 방식이라, 기업이 재학습이나 별도 체크포인트 관리 없이 쓸 수 있다는 점이 강점으로 꼽혀요. 학술 연구 반영을 세 차례 반복하는 동안 성능이 계속 올랐대요.

한계

논문은 코드 실행 가능성과 호환성은 확인하지만, 검색한 논문이나 외부 코드의 악성 의존성, 위험한 실행 패턴, 프롬프트 인젝션을 탐지하는 보안 검사는 명시하지 않았어요. 그래서 바로 운영 환경에 적용하기보다 검증된 자료를 쓰거나 별도 보안 검토를 두라는 지적이 함께 나왔어요.