The Decoherence Trap: When AI slop drowns out the signal in an endless sea of noise

maevyn.codes 원문 에세이를 읽었어요. 글이 매우 길어서 도입과 배관·테세우스의 배 비유 부분까지 옮겼고, 뒷부분은 읽지 못해 partial로 표시해요.

핵심 개념

에세이는 디코히런스(decoherence)를 이렇게 정의해요.

국소적으로는 타당하지만 서로 양립하지 않거나 중복되는 모델이 시스템 안에 쌓여, 변경 비용이 그 모델들 사이를 번역하고 의도치 않은 부작용을 막는 데 대부분 쓰이는 상태

쉽게 말해 "슬롭이 끝없는 소음의 바다에서 신호를 덮어 버리는 것"이에요.

주장

• 디코히런스는 시스템의 변경 속도에 비례해 커지고, 이미 디코히런트할수록 더 빨리 늘어 지수적으로 폭주해요.
• 새로운 현상은 아니고, 사람은 늘 더 적은 것으로 더 많이 하며 흩어진 패턴을 하나로 통합하는 방식으로 대응해 왔어요.
• 하지만 지금 AI의 광범위한 사용이 이를 지속 불가능한 속도로 만들고 있다고 봐요.
• 좋은 소식은, 디코히런스 때문에 AI가 고립된 채 스스로 개선하기 어렵고 바깥에서도 개선 속도가 제한돼 "재귀적 자기 개선 폭발"은 배제된다는 것이에요. 나쁜 소식은 다른 재앙, 디코히런스 붕괴로 달려가고 있다는 것이에요.

배관 비유

작은 사무용 건물의 배관이 낡아 교체해야 할 때를 예로 들어요.

1. 기본적인 노후는 인프라 부채예요.
2. 새 규격으로 바꿔야 하는 건 기술 발전 부채예요.
3. 교체 방법에서 세 번째 부채가 생겨요. 건물 전체를 닫고 한 번에 바꾸기, 층별로 바꾸기, 고장 날 때마다 하나씩 바꾸기 중 마지막이 가장 매력적이지만 바로 그게 디코히런스를 만든다고 해요. 저자는 이것이 "기술 부채 중 단연 최악"이라고 말해요.

테세우스의 배

같은 재료로 하나씩 고치면 배의 설계가 유지돼요. 하지만 목조 전함을 조금씩 바꿔 현대 구축함으로 만들면서 모든 단계에서 작동하게 할 수 있을까요? 불가능하진 않지만 창의성, 기술, 장인정신, 세부에 대한 주의가 필요하고, 반쯤 바뀐 배는 쓸모가 떨어지니 과정을 끝내야 한다고 해요.

별관을 지을 때

옛 배관과 새 배관이 뒤섞인 건물에 별관을 붙이고 수압을 올려야 한다면, 한 종류였으면 쉬운 계산이 패치 하나하나가 답을 바꾸는 복잡한 분석이 돼요. 디코히런트한 시스템을 바꾸려면 어느 한 시스템만 다룰 때보다 훨씬 많은 전문성과 추적이 필요하다는 것이 이 부분의 결론이에요.