Reddit에서 화제 · reddit.com · 2026-10-11
I trained a 102M recursive BitNet-v2 model from scratch: 64K context, trained on less than 5B tokens
OIYO 한국어 요약
102M 파라미터 recursive BitNet-v2를 스크래치로 학습해 공개한 실험이에요. 삼진 가중치·공유 트랜스포머 레이어·해시 n-gram 임베딩을 쓰고 64K 컨텍스트, 학습 토큰은 5B 미만·예산 약 100€라고 해요. Hugging Face에 가중치·추론 코드·평가가 있으며 모델 카드는 AI 도움을 받았다고 명시해요.
원문을 읽지 못해 Reddit 소개글을 바탕으로 요약했어요.
OIYO는 원문을 그대로 옮기지 않아요. 요약과 본문 번역은 큐레이션 목적이며, 사실·인용은 원문 출처를 따라요.