Zombie stats: Where the numbers AI quotes come from

Trakkr Research 보고서의 앞부분(조사 방법과 핵심 결과)을 읽고 옮겼어요. 뒤쪽 비서별 세부 분석은 다 읽지 못했어요.

실험 방법

연구팀은 ChatGPT, Perplexity, Gemini, Claude, Google AI Overviews에 사람들이 매일 묻는 식의 숫자를 요구하는 질문 200개를 던졌어요. 여기서 통계란 비서가 사실로 말하는 비율·평균·건수·비용이에요(조언과 가격은 뺐어요). 그리고 인용 링크를 누르고, 또 눌러 따라갔어요.

한 가지 사례: "영업사원 44%는 한 번 연락하고 포기한다"

"한 번 후속 연락 후 포기하는 영업사원 비율은?"이라는 질문에 다섯 비서가 모두 44%라고 답했고, 근거가 불분명하다고 말한 건 ChatGPT뿐이었어요. Google AI Overviews가 인용한 페이지는 2020년 어느 영업 회사의 통계 페이지였고, 그 "출처" 링크는 프리랜서 작가의 글쓰기 샘플(2017년)로 이어졌어요. 그 글은 슬라이드 자료, 블로그 목록, 뉴스 기사만 나열했을 뿐 후속 연락에 관한 연구는 없었어요. 연구팀은 이렇게 근거 연구 없이 반복되는 숫자를 "좀비 통계"라고 불러요.

1,285개 통계를 추적한 결과

각 비서가 인용한 통계를 무작위로 뽑아(ChatGPT 108, Perplexity 277, Gemini 300, Claude 300, Google AI Overviews 300) 인용 페이지와 그 출처를 최대 5단계까지 따라갔어요.

• 40%: 같은 내용을 말하는 연구에 닿았어요.
• 8%: 연구에는 닿았지만 숫자나 대상·지역·시점 같은 맥락이 중간에 바뀌었어요.
• 40%: 잠겨 있거나, 사라졌거나, 그 숫자를 언급하지 않는 출처에서 멈춰 확인할 수 없었어요.
• 11%: 아무 곳에도 이어지지 않았어요.

판정은 AI 모델이 먼저 하고 더 강한 모델이 300개를 다시 봤으며, 사람이 무작위 150개를 재확인했어요. 사람은 모델이 놓친 원 출처를 찾아냈고, 모델만으로는 출처 확인 비율이 23%였다고 해요. 모든 비율은 사람 검수로 보정했어요.

핵심 문제는 대부분의 숫자는 괜찮지만 답변만 보고는 어느 것이 좀비 통계인지 구분할 수 없다는 점이에요. 좀비 통계도 다른 숫자와 똑같이 자신 있는 말투와 인용을 달고 나오니까요.