Why AnythingLLM is moving from Ollama to Lemonade and llama.cpp

AnythingLLM 공식 블로그 글을 옮겼어요.

무엇이 바뀌나

AnythingLLM Desktop의 내장 엔진이 바뀌었어요. 앱 안에서 받아 돌리는 모델은 이제 AMD가 만든 오픈소스 로컬 AI 서버 Lemonade가 관리하는 llama.cpp에서 돌아가요. 처음부터 앱에 넣어 온 Ollama를 대체해요. AnythingLLM은 Ollama 설치 기반이 가장 큰 곳 중 하나라 쉬운 결정이 아니었대요.

처음 Ollama를 고른 이유

아무것도 쉽지 않던 시절 Ollama는 내 컴퓨터에서 모델 돌리기를 쉽게 만들었고, 오픈소스였고 빨리 발전했어요. Ollama도 llama.cpp 기술로 모델을 돌리고, 오랫동안 llama.cpp를 일반인에게 전하는 가장 쉬운 길이었어요.

무엇이 달라졌나

• llama.cpp가 더 빨라졌어요. 새 아키텍처, 양자화 형식, GPU 커널이 llama.cpp에 가장 먼저 들어오고, 그 사이에 층을 두면 그만큼 뒤처져요.
• Ollama 업데이트가 자꾸 뭔가를 깨뜨렸어요. 모델 계열 로딩, 템플릿 처리, 메모리 관리가 바뀌면서 업그레이드가 고치는 만큼 망가뜨렸고, 옛 버전에 고정하면 개선을 놓쳤어요.
• 우선순위가 어긋났어요. Ollama는 클라우드 모델과 서비스 쪽으로 옮겨 갔고, 그건 회사로서 합리적이지만 AnythingLLM은 계정·구독 없이 아무것도 컴퓨터 밖으로 나가지 않는 로컬 AI를 지향해요.
• 모델은 그냥 모델이어야 해요. llama.cpp는 커뮤니티가 실제로 올리는 GGUF를 돌려요. 별도 레지스트리나 재포장 없이 Hugging Face·ModelScope에서 원하는 양자화로 바로 받아요.

왜 Lemonade인가

'엔진을 위한 엔진'이에요. AMD가 유지하는 오픈소스로 Windows·macOS·Linux에서 일관되게 동작해요.

• CPU, Vulkan(AMD·Intel·NVIDIA), CUDA, Apple Silicon Metal로 llama.cpp를 돌리고, 설치 때 하드웨어를 감지해 가장 빠른 옵션을 골라요.
• XDNA 2 NPU가 있는 AMD Ryzen AI PC에서는 FastFlowLM으로 NPU에서 모델을 돌려요. Snapdragon PC는 이미 Qualcomm GenieX로 NPU 가속을 받고 있어요.
• 이미지 생성, 음성 인식, 음성 합성 엔진도 관리해 앞으로 이 기능들을 들여올 기반이 돼요.

llama.cpp 생태계

2월에 llama.cpp를 만든 ggml.ai가 Hugging Face에 합류했고(오픈소스·커뮤니티 주도 유지), 9월에는 NVIDIA가 Hugging Face 인수에 합의했어요. AMD의 Lemonade까지 더해 AI 하드웨어·오픈 모델의 큰 이름들이 llama.cpp를 모든 GPU와 NPU에서 가장 빠른 런타임으로 만드는 데 투자하고 있대요.

훨씬 작아졌어요

예전 Ollama 엔진은 모든 제조사 GPU 라이브러리를 실어 Windows에서 모델 없이도 약 1.8GB였어요. 새 엔진은 기기에 필요한 것만 설치해서, NVIDIA 그래픽이 없는 일반 Windows PC에서 약 137MB예요.

사용자에게는

새로 설치하면 자동으로 새 엔진을 써요. 기존 사용자는 아무것도 깨지지 않고, 준비되면 상단의 'Engine upgrade'를 누르면 새 엔진으로 바꾸고 옛 엔진을 지워요. 모델은 새 엔진용으로 다시 받아야 해요.