Running decision model locally on an RTX 4090 to find out which one is the fastest

최근 2주 사이 쏟아진 오픈 결정 모델 네 개(Laya, Liquid의 d1 3B, Cloudflare의 Clef-Flash 9B, interfaze의 Lev 4B)를 RTX 4090 한 장에서 비교한 r/LocalLLaMA 글이에요. 지네에 관한 위키백과 문서 9개(9534단어)를 한 단어씩 보내 지네 이름인지 판별하게 했어요. 단어당 지연은 Laya 3.9ms, d1 6.0ms, Clef-Flash 24.4ms, Lev 51.0ms였고, 지네 이름을 잡아낸 비율은 Lev 83%, Laya 70%, d1 51%, Clef-Flash 36%였어요. Lev가 가장 많이 잡아냈지만 Laya보다 13배 느렸는데, llama.cpp가 아닌 자체 PyTorch 서버로 돌린 영향도 있다고 해요.