Why is AI generated language so hard to understand?

arXiv 초록 페이지를 기준으로 옮겼어요. 논문 본문(PDF)의 표와 모델별 수치는 읽지 못했어요.

연구 질문

요즘 AI가 생성한 글이 더 이해하기 어려워졌다는 느낌이 널리 퍼져 있어요. Thomas Hikaru Clark 등 3명의 저자는 사람의 처리 난이도와 상관이 있다고 알려진 심리언어학적 특징을 살펴봤어요. 예를 들면 이런 것들이에요.

• 목적어 관계절
• 긴 통사적 의존 관계
• 빈도가 낮은 n-그램

무엇을 발견했나요

여러 분야에 걸친 새 AI 생성 텍스트 코퍼스로 비교했더니, AI 모델은 왕복 번역으로 만든 바꿔 쓰기 문장보다 이런 어려운 특징을 더 자주 썼어요.

사람이 쓴 글과 비교하면:

• 프런티어·준프런티어 모델 9종 모두 무생물 주어에 생물 동사를 붙이는 표현과 저빈도 n-그램을 더 많이 썼어요.
• 대부분은 대화에서 더 긴 의존 관계, 겹쳐 쌓은 명사, 축약된 목적어 관계절도 더 많이 썼어요.
• 모델 계열에 따라 차이가 상당했어요.

왜 그럴까요 (가설)

저자들의 가설은 이래요. 사람의 언어는 성공적인 소통에 맞게 최적화돼 있지만, AI가 생성한 텍스트는 점점 수학·코드·추론 같은 다른 목표에 맞게 최적화되고 있고, 그런 과제에서는 소통보다 정보 밀도에 대한 압력이 있다는 거예요.

개념 증명으로 언어 모델을 길이 페널티를 주고 미세 조정했더니, 사람 같은 언어 행동에서 멀어지는 결과가 나왔대요.

의미

이 결과는 사람과 LLM의 언어 처리 요구 사이에 어떤 축으로 어긋남이 있는지 보여 주고, 가능한 해결 방향을 가리킨다고 저자들은 말해요.