90% of US working hours are spent on tasks not covered well by AI benchmarks

Mercor 연구 페이지 원문을 읽고 옮겼어요. 인터랙티브 지도와 그래프는 글로 풀었어요.

무엇을 만들었나

AI 벤치마크는 많아졌지만 경제적으로 가치 있는 일을 얼마나 덮는지는 잘 모른다는 문제의식에서 출발해요. 미국 노동부 O*NET 분류(직업 923개, 22개 직군, 과업 18,797개)에 벤치마크 프롬프트를 대응시켜 "벤치마크 지도"를 만들었고, 계속 갱신할 첫 단계라고 해요.

| 지표 | 값 | |---|---:| | 다뤄진 직업 | 208 / 923 | | 다뤄진 과업 | 924 / 18,797 | | 인덱스의 벤치마크 | 29개 |

여기서 "다뤄졌다"는 과업 하나에 프롬프트가 5개 이상 대응된 경우예요. 22개 직군 중 6개는 그런 직업이 하나도 없어요. 직군별로는 컴퓨터·수학 29/36, 경영·금융 33/48, 법률 5/7처럼 높고, 의료 종사자 12/89, 교육 9/62처럼 낮아요.

핵심 결과

• 미국 근로시간의 90%가 기존 벤치마크가 거의 또는 전혀 다루지 않는 과업에 쓰인다고 추정해요. 그래서 AI가 실제 미국인의 일을 얼마나 잘하는지 알기 어렵다고 해요.
• AI 노출도가 높은 과업은 낮은 과업보다 벤치마크에 실릴 가능성이 약 6배 높아요. 소프트웨어 엔지니어링·재무 분석은 많고 트럭 운전·가스 플랜트 운영은 드문 이유예요.
• 노출도를 통제해도 임금 총액이 큰 직업의 과업이 더 많이 실려요. 예컨대 변호사 과업은 많이 다루지만, 비슷하게 노출된 법률 비서·법원 서기 과업은 거의 없어요. 중간 소득의 작은 지식 노동 직업들이 비어 있다고 봐요.

방법

• 벤치마크 선정 기준: 공개 과제 25개 이상(Mercor APEX는 비공개 프롬프트 접근 가능해 포함), 조언이 아닌 에이전트형 과제, 실제 기업 업무와 닮은 경제적 현실성, 직군별 개수 상한(소프트웨어·연구 과다 대표 보정), 아직 포화되지 않은 난이도.
• LLM 판정기가 프롬프트마다 대응되는 O*NET 과업을 태깅하고, APEX에서 사람 전문가 태그로 검증했어요. 근로시간 비중은 Hatgis-Kessell 등의 추정치를 썼어요.

한계

29개라는 초기 목록에서 나온 잠정 결과이고, 목록이 불완전하면 경제 전체 커버리지는 낮게 나오기 쉽다고 밝혀요. 직군 상한 때문에 소프트웨어처럼 많이 다뤄진 분야는 과소 추정되고, 포화된 벤치마크를 빼서 쉬운 과업 커버리지도 낮게 잡힐 수 있어요. "경제적 현실성" 같은 기준에는 주관이 들어간다고도 인정해요.