Using LLM for confidence scoring is a bad idea

원문 앞부분(신뢰도의 정의와 측정 방법)을 중심으로 옮겼어요.

문제 제기

LLM 기반 에이전트는 코드 작성, 논문 요약, 여행 계획, 양식 작성 같은 일을 해요. 적어도 하는 것처럼 보여요. 확률이나 confidence 점수를 물어보면 그것도 내놓아요. 글쓴이는 많은 에이전트 설계자가 LLM으로 신뢰도 점수를 만드는 걸 봤는데, 그 숫자를 믿을 타당한 이유가 없다고 말해요.

신뢰도란 무엇인가

기상 예보관이 "내일 비 올 확률이 70%라고 확신해요"라고 말한다고 해 봐요. 예보는 비가 온다는 것이고, 70%는 그 예측을 얼마나 확신하는지예요. 그 확신은 예보관이 가진 정보에서 나와요.

• 내일에 대한 정보: 기압, 습도, 바람, 레이더의 구름
• 과거 정보: 수년간의 기상 기록, 오늘 같은 날 다음에 비가 얼마나 왔는지

정보가 많고 한쪽을 강하게 가리킬수록 신뢰도는 100%나 0%에 가까워져요. 이론적으로 정보를 신뢰도로 바꾸는 건 의견이 아니라 계산이에요. 과거에서 출발해 내일 정보로 갱신하는 규칙이 있다고 보면, 같은 정보를 가진 두 예보관이 규칙을 제대로 적용하면 반드시 같은 값이 나와요. 다르다면 정보가 다르거나 누군가 규칙을 잘못 적용한 거예요.

2주 뒤 날씨를 묻는다면 그날에 대한 정보가 없어요. 이 시기에 비 오는 날이 30%라면 최선의 답은 "30%"예요. 날이 가까워질수록 정보가 늘어 값이 움직여요.

정확도는 어떻게 재나

하루만으로는 70%가 맞았는지 알 수 없어요. 비는 오거나 안 오거나니까요. 신뢰도는 여러 날에 걸쳐서만 확인할 수 있어요. 예보관이 70%라고 한 날들을 모아 실제로 그중 얼마나 비가 왔는지 보는 식이에요. 글쓴이는 LLM이 내놓는 숫자는 이런 정보와 계산, 검증 과정에서 나온 게 아니라서 그대로 믿으면 안 된다고 강조해요.