에이전트 기반 검증 - AI가 쓴 코드를 스스로 검사하게 만들기

Addy Osmani의 Substack 글(2026-10-14)을 읽었어요. 길어서 E2E·속성 테스트 설명까지 옮겼고 뒷부분은 읽지 못해 partial이에요.

핵심

에이전트에게 작업을 독립적으로 검증할 방법을 주면 결과 품질이 크게 좋아진다고 해요. 테스트·벤치마크·명세·실제 E2E 실행처럼 "좋은 코드"를 비싸게 만들던 것들이 이제 에이전트에게 싸게 시킬 수 있는 일이 됐어요. 그래서 우리 일은 "모든 줄 리뷰"보다 에이전트가 스스로 돌리는 루프 만들기가 되고, 사람은 diff가 아니라 증거를 리뷰한다는 거예요. 에이전트가 틀린 건 공유 설정·훅·테스트로 적어 두어 두 번 반복되지 않게 하라고 해요.

투자할 만한 검증으로 이런 것을 꼽아요.

• 실제 사용자 흐름을 흉내 내는 E2E 테스트를 정답 기준으로
• 일어나면 안 되는 일을 명시하는 속성 기반 테스트
• 시스템 교체 시 무작위 입력으로 신구 버전 비교
• 빠르고 결정적인 테스트(느리고 불안정하면 에이전트가 고치지 않고 재시도만 배울 수 있어요)

검증이 병목

검증할 수 없는 에이전트는 사실상 추측하고, 사람이 diff를 읽고 앱을 확인하며 버그를 보고하는 가장 느린 루프로 돌아가요. 스스로 시험하는 에이전트는 사람이 보기 전에 통과할 때까지 반복해요. 그는 "조금 나은 모델보다 훨씬 나은 피드백 루프를 고르겠다"고 해요.

E2E 테스트

하나만 고르라면 E2E예요. 가입 → 장바구니 → 결제 → 확인처럼 사용자가 보는 것만 보니 속이기 어려워요. 중요한 흐름만 다루고, 스크린샷·트레이스로 무엇이 틀렸는지 알려 주며, "이 E2E 테스트를 통과시켜"라는 명확한 완료 기준을 줘요. 느리고 불안정하다는 단점이 있어 소수의 고가치 테스트를 권해요. 앱을 실행·조작·관찰하는 스킬/CLI와 사용자 관점 기능 지도도 추천해요.

속성 기반 테스트

예시 테스트는 "무엇이 일어나야 하는지", 속성은 "무엇이 절대 안 되는지"를 말해요. fast-check, Hypothesis, proptest가 수천 개 입력을 만들어 깨뜨리려 하고, 실패하면 최소 사례로 줄여 줘요. 왕복 인코딩, 불변식(잔액은 음수가 안 됨), 멱등성, 최적화 함수와 단순 함수의 동등성이 흔한 속성이에요. 에이전트가 자기 논리로 통과하는 예시만 만드는 걸 막아 줘요. Claude Code의 Boris Cherny는 까다로운 상태 기계·동시성에 Lean, TLA+ 모델을 쓴다고 소개해요.