AI 에이전트 제품을 설계할 때 필요한 15가지 사고 도구

Substack 글의 서문과 앞쪽 네 개 모델을 기준으로 옮겼어요. 나머지 11개 모델과 46개 모델 전체 목록은 다 읽지 못했어요.

이 글의 관점

에이전트가 어떻게 동작하는지 설명하는 글은 이미 수백 개 있고, 대부분 PM은 도구 호출, 컨텍스트 창, 추론 루프를 설명할 수 있대요. 아무도 내놓지 않은 건 에이전트가 만드는 결정을 위한 사고 도구예요. 무엇을 자동화할지, 얼마나 재량을 줄지, 무엇을 검사하고 무엇은 실패하게 둘지요.

배운 모델은 전부 여전히 통해요. 다만 이제 다른 답을 내놓을 뿐이에요.

제번스는 여전히 수요가 어디로 갈지, 굿하트는 지표가 어디서 썩을지, '쓰라린 교훈'은 무엇을 만들고 건너뛸지 알려 줘요. 하지만 같은 스펙이 매번 다른 결과를 내는 확률적 제품에 대입하면 답이 결정적으로 달라진대요. 글은 15개 모델을 다섯 가지 결정으로 묶어 설명하고, 그중 네 개에는 새 이름이 필요하다고 주장해요.

경제: 지능이 싸진 게 문제예요

1. 제번스 역설: 자원이 싸지면 소비는 가격 하락보다 더 늘어나요. 싼 지능은 돈을 아껴 주지 않고 사용량을 늘려요. 추론 가격이 무너지는 동안 사용량은 폭발했어요. PM의 실수는 에이전트를 비용 항목처럼 예산 잡는 거래요. 에이전트는 물량의 이야기예요.
2. 해결된 작업당 비용: 경제의 단위는 입력이 아니라 끝난 결과예요. 토큰당 가격은 새로운 허영 지표래요. 12턴을 떠들고도 실패하는 싼 모델이 한 번에 푸는 프런티어 모델보다 비싸요. 같은 20개 작업을 두 모델에 돌려 성공한 것의 가격을 비교하래요. 과금도 좌석이 아니라 해결 건당으로 가고 있어요.
3. 자동화 가능선(viability line): 작업 비용이 가치보다 낮아지는 순간 자동화할 가치가 생겨요. 이 선은 분기마다 움직이고, 모델이 나올 때마다 새 작업 묶음이 선을 넘어요. PM은 이 교차를 분기마다 다시 그려야 한대요. METR 측정으로는 AI가 해내는 작업 길이가 약 7개월마다 두 배가 되고 있어요.

신뢰성: 동전 던지기는 기능 목록으로 못 써요

1. 들쭉날쭉한 프런티어(Ethan Mollick의 표현): AI 능력은 고르지 않아요. 어떤 일은 훌륭하게, 바로 옆 일은 엉망으로 하고, 그 경계는 부딪히기 전까지 안 보여요. 완벽한 코드를 쓰는 에이전트가 폴더 속 파일 개수를 못 세기도 해요. 그래서 데모로 능력을 추론하지 말래요. 데모는 봉우리를, 사용자는 골짜기를 겪어요. 의미 있는 지도는 자기 작업과 자기 테스트로 직접 그린 것뿐이에요.