I trained a 15M "decision-only" model two ways — linear recurrence vs Transformer attention. Accuracy was a coin flip; latency and training cost weren't.[R]

Reddit/원문 접근이 제한되어 큐레이터 포스트 본문을 기준으로 옮겼어요. blocked로 표시해요.

설정

• 각 ~15.09M params, ±0.02% 예산 매칭
• jev-v8a: Gated Segmented State Space + decision head
• jev-transformer: 표준 어텐션 + 동일 head
• 과제: 2k–8k자 지문에서 4문장 중 등장 문장 고르기
• Colab T4, 노트북 재현

결과(포스트)

• 정확도: v8a 26.8% vs TF 28.2%(chance 25%) — 이 스케일에서 거의 학습 실패, 로스 보고
• 지연: ~1550 토큰 아래는 TF가 빠르고, T=8192에서 선형이 2.37× 빠름(108.6 vs 257.7 ms)
• 학습 속도 격차가 크다고 함

Repo: stube123890-hue/jev-decision-lab