The minimum size of an LLM to generate a little meaningful convo

Reddit이 자동 수집을 막아 RSS 피드에 실린 본문을 기준으로 옮겼어요. 원문은 짧은 질문이고, 댓글의 답변은 읽지 못했어요.

질문 내용

작성자 u/Holiday-Inspection75은 '보통' 영어를 생성하는 가장 작은 모델을 찾고 있대요.

• AI가 만든 티가 나도 괜찮지만, 문법이 대체로 맞고 맥락에 맞아야 해요.
• CPU에서 쉽게 돌도록 1,000만(10M) 파라미터 미만이면 좋겠대요.

시험해 본 결과

Supra-Mini-v6-1M 같은 모델을 시험했는데 충분하지 않았대요. "Once upon a time"이라는 프롬프트에 대한 출력 예시를 붙였는데, 이런 식이었어요.

rounded, and dripped a small part and mi, while others. Clicy for example in Papuano Pauder (18159), is often found as "maping with all" in which we believe from God; …

출력은 단어는 영어지만 문장이 이어지지 않고, 없는 고유명사와 숫자, 깨진 낱말("I can't'ln?")이 섞여 있어요. 작성자는 이게 템플릿으로 생성한 문장보다도 나쁘다고 했어요.

묻는 것

1. 어떤 초소형(micro) LLM이 더 나은 결과를 낼 수 있는지
2. 의미 있는 대화를 만들려면 최소 몇 개의 파라미터가 필요한지

질문 자체는 짧지만, 극단적으로 작은 모델의 품질 하한선이 어디인지 묻는 글이에요. 어떤 답이 나왔는지는 댓글을 읽지 못해 옮기지 않았어요.