396 단어
2 분
RTX 4090 으로 552B 모델 로컬 실행 가능해졌습니다
NOTETL;DR
- 고사양 장비 없이 RTX 4090 한 대로 DeepSeek-V4.1-Flash(552B) 를 약 27 토크/초로 구할 수 있어 로컬 LLM 접근성이 높아졌습니다.
- Strata 기반 엔진인 Xolotl 와 Dwarfstar(ds4) 최적화 버전이 공개되며, 비싼 서버 없이도 고성능 추론이 가능해졌습니다.
고사양 구축 불필요, RTX 4090 으로 로컬 LLM 가속화
RTX 4090 단일 카드로 552B 규모의 DeepSeek-V4.1-Flash 모델을 약 27 토크/초로 실행할 수 있는 Strata 기반 엔진인 Xolotl 가 공개되었습니다. 이 기술은 VRAM, 램, NVMe 를 효율적으로 활용하여 고가의 서버 없이도 고성능 추론을 가능하게 합니다. 원문
Xolotl 엔진으로 DeepSeek-V4.1-Flash(552B) 로컬 실행
Strata 기반 추론 엔진인 Xolotl 을 통해 단일 RTX 4090 에서 552B 모델의 전체 파라미터를 분산하여 처리할 수 있습니다. 이 설정은 512K 컨텍스트에서 180~320 토크/초의 프리필 및 약 27 토크/초의 디코딩 속도를 보여주며, 다양한 오픈 소스 모델을 지원합니다. 원문
Dwarfstar(ds4) 에 최적화된 DeepSeek v4.1 Flash 1017 버전
Dwarfstar(ds4) 프레임워크에 맞춰 DeepSeek v4.1 Flash 1017 모델의 비전 타워가 업데이트되어 공개되었습니다. 2 비트 라우팅 전문가와 8 비트 이상 다른 계층을 결합한 양자화 방식이 적용되어, SSD 에서 가중치를 스트리밍하면서도 M5 Max 등에서도 높은 처리 속도를 달성합니다. 원문
RTX 4090 으로 552B 모델 로컬 실행 가능해졌습니다
https://malgcheong.github.io/posts/digest-2026-10-19/