AI 코딩도 LLM만으론 부족…레플릿, ‘결정론적 시뮬레이터’로 검증

AI타임스(임대준 기자) 기사 전체를 읽고 정리했어요. 원문이 한국어라 번역보다는 재구성이에요. 기사는 디 인포메이션의 10월 15일 보도를 바탕으로 해요.

무슨 일인가

AI로 소프트웨어를 만들기 쉬워지면서 결과물이 실제로 제대로 작동하는지 검증하는 문제가 커지고 있어요. 레플릿의 루이스 차베스 CTO는 미국 버지니아의 검증 스타트업 앤티테시스(Antithesis)의 테스트 플랫폼을 쓴다고 밝혔어요.

결정론적 시뮬레이션 테스트란

| 구분 | 내용 | |---|---| | '결정론적'의 뜻 | 같은 조건·입력이면 결과도 같다는 뜻. 같은 조건에서도 결과가 달라질 수 있는 LLM의 확률적 방식과 대비 | | 하는 일 | 소프트웨어를 통제된 가상 환경에서 실행하며 네트워크 지연, 서버·저장장치 장애를 일으켜 오류를 탐색 | | 장점 | 오류가 난 실행 과정을 그대로 재현해 원인을 찾고, 수정 후 같은 상황에서 해결됐는지 확인 | | 기반 | 실행 순서·시간·네트워크를 통제하는 자체 개발 하이퍼바이저 | | 하지 않는 것 | AI가 매번 같은 코드나 같은 답을 내게 만드는 기술은 아님. 모든 오류·취약점이 없음을 보장하지도 않음 |

핵심은 AI에게 코드를 읽고 오류를 찾아 달라고 하는 데 그치지 않고, 프로그램을 실제로 실행해 장애 상황에서의 동작을 확인한다는 점이에요.

왜 LLM만으론 부족한가

• 차베스 CTO는 모델이 확률적으로 작동해 실행마다 결과가 달라질 수 있어, 이것으로 모든 문제를 찾기는 매우 어렵다고 했어요.
• 업계 관계자들은 AI 코드 검사가 실제로 문제없는 부분까지 오류로 지적하기도 한다고 해요. 레플릿도 1월 연구에서 같은 취약점이라도 코드 표현이나 질문 방식에 따라 평가가 달라진다며 정적 분석·의존성 검사와 AI 추론을 결합해야 한다고 밝혔어요.
• 윌 윌슨 앤티테시스 CEO는 "소프트웨어 작성은 쉬워졌지만 제대로 작동하는지 확인하는 일은 더 쉬워지지 않았다"고 했어요.

배경과 비교

• 앤티테시스 창업진은 분산 데이터베이스 FoundationDB 개발 때 이 방식을 썼고, 2018년 회사를 세웠어요. 주 대상은 분산 시스템이에요.
• 세일즈포스도 상담 후 만족도 설문 발송 같은 필수 절차는 LLM 판단에 맡기지 않고 규칙 기반 트리거로 반드시 실행하게 했어요. 적용 대상은 다르지만, 신뢰성이 필요한 곳에 별도 통제·검증을 붙인다는 점이 같아요.
• 앤티테시스는 8월 종료 분기 매출이 앞선 5개 분기 합계보다 많았다고 했고(금액 비공개), 지난해 12월 제인 스트리트 주도 시리즈 A로 1억 500만 달러를 유치했어요. 팔란티어, 데이터독 등이 고객이에요.