메모리 벤치마크 점수 믿어도 되나

코어닷투데이 기술 블로그 글(2026-10-11, 원문 표기 78분 분량)은 매우 길어요. 요약·0장·1장 앞부분만 읽고 정리했어요. 원문이 한국어라 번역보다는 재구성이에요. 뒤쪽의 상세 실측과 점검표 10문항은 읽지 못했어요.

문제 제기: 94점짜리 기억들

2026년 가을 에이전트 기억 업계는 LoCoMo에서 Zep 94.7, Mem0 92.5, EverMemOS 92.3, LongMemEval에서 Mastra 94.87, Mem0 94.4를 발표해요. 그런데 Zep 한 제품의 LoCoMo 점수가 측정 주체에 따라 58.44~94.7로 흩어져 있어요. Mem0가 잰 Zep은 58.44·65.99, Zep이 잰 Zep은 75.14·94.7이에요. 4월에는 한 감사 프로젝트가 LoCoMo 정답지의 6.4%가 틀렸다고 발표했는데, 그렇다면 만점은 93.6점 근처여야 해요.

직접 다시 돌린 결과

| 실험 | 결과 | |---|---| | Mem0 논문의 '대화 통째로 넣기' 기준선 재현 | 74.0% (논문 72.90%) | | 답변 모델만 2026년 저가 모델(gemini-3.1-flash-lite)로 교체 | LoCoMo 80.7%(1,540문항 2.51달러), LongMemEval 81.6% | | 같은 답, 채점 프롬프트만 변경 | 55.8%~81.4% (26점 차) | | 같은 프롬프트, 채점 모델만 변경 | 62.1%~74.0% (12점 차) | | 정답·오답을 나란히 적은 답 | Mem0 2025년 프롬프트 71~76%, 2026년 프롬프트 100% 정답 처리 | | 대화를 안 보고 답하기 | 25.9% |

• 2025년 Mem0 66.88, Zep 75.14(LoCoMo)보다 기억 시스템 없는 기준선이 높았어요.
• 정답지 1,540개를 대화 원문과 대조하니 7%가 틀렸거나 모호했어요(추론·상식 질문은 30%).
• LoCoMo는 대화 10개에 몰려 있어 95% 신뢰구간이 ±3.1점이에요. 0.3~1.6점 차 '최고 성능' 경쟁 상당수는 잡음 안이라는 뜻이에요.

기억 시험의 짧은 역사 (앞부분)

• 2015년 bAbI는 자동 생성한 20개 과제였고, 95% 합격선부터 "임의적"이라는 각주가 달렸어요.
• 2023년 MemGPT의 DMR에서 MemGPT는 93.4%였지만, 15개월 뒤 Zep 논문의 '기억 없이 전체 대화 넣기' 기준선이 gpt-4o-mini로 98.0%를 냈어요.
• 건초더미 속 바늘 시험에서 Claude 2.1은 27%였지만, 응답 앞에 "맥락에서 가장 관련 있는 문장은" 한 줄을 붙이자 98%가 됐어요. 기억이 아니라 답할 의향을 재고 있었던 거예요.
• LoCoMo 원 논문은 토큰 F1로 채점했고, 지금 쓰는 'J 점수'는 2025년 4월 Mem0 논문이 도입했어요. 그 채점 프롬프트의 "너그럽게 채점하라, 같은 주제를 건드리면 정답"이라는 문장이 여러 회사 평가 코드에 거의 그대로 복사됐다고 짚어요.