omni-d1 600M by Liquid AI running in the browser using WebGPU

Liquid AI의 의사결정 모델 d1-omni-600M을 WebGPU 추론 라이브러리 runntime으로 옮겨 브라우저에서 돌린 사례예요. runntime은 WASM 없이 TypeGPU 위에서 순수 TypeScript로 작성됐고, 가중치를 Hugging Face safetensors에서 바로 불러와요. 데모에서는 가짜 댓글 피드를 실시간으로 검열하는데, 댓글마다 유해한지·스팸인지·질문인지·전체 어조가 어떤지 네 가지를 물어 유해·스팸 댓글을 지워요. 댓글당 네 질문에 약 180ms, 질문당 약 45ms가 걸렸고, 엔진을 튜닝하면 더 빨라질 거라고 해요. d1 포팅은 아직 npm 릴리스에 들어가지 않았어요.