Redis 만든 antirez가
이번엔 로컬 LLM 추론 엔진을 만들었다.
DeepSeek V4 Flash 하나만을 위한 전용 엔진.
4일 만에 GitHub 스타 4,800개.
ds4라는 이름이다.
C 싱글 파일.
Apple Metal GPU에 직결.
DeepSeek V4 Flash는 284B 파라미터 MoE 모델.
활성 파라미터가 적어서 빠르다.
M3 Max 128GB에서 초당 27토큰 생성.
프리필은 250토큰/초. 실제 대화에 쓸 수 있는 속도다.
최소 사양은 128GB 통합 메모리 Mac.
Q4 양자화를 쓰려면 256GB 이상이 필요하다.
하이엔드 장비 전제지만,
이 사양에서 284B 모델이 실사용 가능한 속도로 돌아간다는 게 핵심이다.
2비트 양자화도 "장난이 아니다(not a joke)"라는 건 antirez 본인의 표현.
온디바이스 추론의 진짜 가치는 속도나 비용이 아니다.
데이터가 외부로 안 나간다.
인터넷 없이 돌아간다.
에이전트 루프를 24시간 돌려도 트래픽이 0이다.
이 관점에서 보면 ds4는 정말 의미가 있다.
진짜 흥미로운 건 접근법이다.
llama.cpp 같은 범용 대신 모델 하나에 올인하는 전용 엔진. antirez가 Redis에서 했던 철학과 같다 - 범용을 버리고 하나를 극한까지 최적화.
README에 "GPT 5.5의 강력한 도움으로 만들었다"고 적혀 있다. 바로 뒤에 "llama.cpp와 GGML 없이는 존재하지 못했다"는 문장도 같이.
antirez는 README 말미에 이렇게 적었다:
"We wanted to make one local model feel finished end to end, not just runnable."
돌아가게 만드는 게 아니라 완성되게 만든다.
로컬 추론의 다음 기준이 될 수 있는 문장이다.
프론티어 AI 모델의 구독료가 점점 증가하는 시국에
진지하게 고민해봐야 할 사안이지 않을까 싶다.