Meta trained small AI models to read raw bytes instead of tokens. They start out worse, but the paper predicts they end up better

Reddit이 자동 수집을 막아(OAuth 키 없음, Wayback 429) RSS 피드에 실린 본문을 기준으로 옮겼어요. 논문(arXiv 2609.12303) 자체는 읽지 않았고, 아래는 작성자 u/DotaMate의 요약이에요.

논문이 한 일

토큰 대신 원시 바이트, 사실상 글자 하나씩 읽는 모델을 제안한 논문이래요.

• 약 10억(1B) 파라미터 소형 모델을 토큰용과 바이트용으로 나눠 학습했어요.
• 일부는 더 큰 모델(Llama 3 8B)을 따라 하게 하는 증류로 학습했어요.
• 까다로운 점은 선생 모델은 토큰으로 생각하고 학생은 바이트로 읽는다는 거라, 둘 사이를 깔끔하게 번역하는 방법을 따로 만들어야 했대요.

결과

• 학습이 적을 때는 토큰 모델이 크게 이겨요.
• 학습을 더 하면 토큰 모델은 정체되고 바이트 모델은 계속 좋아져요.
• 추세선을 연장하면 바이트 모델이 Llama 3.2 1B와 Gemma 3 1B를 몇 점 차로 넘어선대요.
• 같은 수준에 도달하는 데 텍스트가 약 6배 덜 필요했어요.

단서

• 'Llama·Gemma를 이긴다'는 건 예측이에요. 실제 학습 범위를 넘어 곡선을 연장한 것이고, 실제 실행에서는 토큰 모델이 여전히 앞섰대요.
• 글자 단위로 읽으면 느려요. 토큰 하나가 4~5글자라 같은 글에 약 5배 많은 단계가 필요해요. 데이터는 덜 들지만 계산은 더 들어요.
• 선생 모델이 여전히 토큰을 쓰니 토큰이 사라진 건 아니에요.
• 소형 모델에서만 시험해서 규모를 키워도 맞는지는 아직 몰라요.

작성자는 휴대폰·노트북용 소형 모델에서는 같은 크기로 품질을 더 짜내는 게 중요하고, 거대한 단어 목록을 없애면 단어 속 글자 수를 틀리는 문제도 고칠 수 있을 거라며, 바이트 모델을 토큰 모델만큼 빠르게 만드는 연구가 있는지 물었어요.