새로 나온 모델 · 2026.09.12
최종 업데이트
DeepSeek V4.1 Flash 로컬 실행: 552B보다 먼저 볼 숫자
활성 파라미터보다 전체 체크포인트와 실행 구성을 먼저 확인해요
DeepSeek V4.1 Flash는 문서와 질문을 받아 답변을 생성하는 대형 MoE1 모델이에요. 공식 체크포인트2는 약 475.2GiB이고, 백본·Engram 테이블·추측 디코딩3 구성 등을 함께 적재해요. 개인 장비의 스트리밍 실험부터 다중 Spark 구성까지 공개 실행 사례를 살펴봐요.
계약서 여러 개를 내 Mac에서 읽히고 싶다면 SSD4에 파일을 받을 수 있는지뿐 아니라 실행기가 전체 구성요소를 메모리에 배치할 수 있는지 먼저 봐요. 공개 점수보다 저장 공간, 시스템 메모리와 GPU5 배치, 정확한 런타임6 브랜치가 먼저예요.
백본·Engram·활성 파라미터는 다른 규모예요
DeepSeek V4.1 Flash는 40층 백본 552B에 196B Engram이 더해져요. 소개된 입력 8B와 생성 16B는 토큰7 계산 때 활성화되는 경로를 뜻해요. 선택되지 않은 전문가 가중치도 저장장치와 메모리에 남으므로 활성 16B를 16GB VRAM8으로 바꿔 생각할 수 없어요.
공식 혼합 정밀도 체크포인트는 FP89·FP4·BF1610 구성요소가 섞여 약 475.2GiB예요. 여기에는 비전 인코더·투영층과 추측 디코딩 구성도 들어가요. 파일을 받는 SSD 공간과 실행 시 백본·작업 버퍼·KV 캐시11가 들어갈 메모리를 따로 준비해요.
Engram은 토큰 n-gram12을 해시해 FP8 테이블에서 관련 행을 찾아 잔차 스트림에 결합하는 학습된 메모리예요. 한 번의 계산에서 일부 행만 읽어도 테이블 전체가 약 189GiB를 차지해요. 임시 프롬프트13 캐시나 일반 PLE14 기능과는 다르며, 입력이 짧아도 상주 테이블 크기가 짧은 문맥에 맞춰 줄지는 않아요.
1017 업데이트가 나왔어요
2026년 10월 17일 같은 자리의 1017 체크포인트가 공개됐어요. 구조와 파일 크기는 그대로지만 48개 샤드가 모두 바뀌었고 Engram과 비전 파일도 새 값이에요. 이 글의 475.25GiB와 런타임 조건은 1017에도 적용되지만, 이미 받은 파일을 덮어쓰지 말고 새 폴더에 받아야 해요.
무엇이 바뀌었고 어떤 런타임이 1017을 읽는지는 1017 업데이트 가이드에서 이어서 설명해요.
오프로딩할 메모리와 남길 공간을 계산해요
SGLang 초기 구현은 Engram 테이블을 호스트 메모리로 옮길 수 있어요. 그러면 GPU 점유는 줄지만 시스템 RAM15에 큰 공간이 필요하고 CPU-GPU 연결도 데이터를 전송해야 해요. 백본 가중치나 문맥에 따라 커지는 KV 캐시는 그대로 남아요. 오프로딩16 경로가 있다는 이유만으로 256GB 통합 메모리17에 전체 구성이 넉넉하다고 판단하지 말고, 각 구성요소가 실제로 어디에 적재되는지 확인해요.
약 246.3GiB의 서드파티 Q2_K 파일도 공개됐지만, 확인된 것은 제한된 포크에서 짧은 텍스트 요청이 통과한 스모크 테스트예요. 파일 크기가 작다는 사실은 긴 문서를 안정적으로 처리한다는 증거가 아니에요.
공개 실행 측정은 장비와 범위를 붙여 읽어요
개인 장비 사례는 짧은 시험부터 다중 Spark 서버까지 구성과 입력이 달라요. M3 Ultra 256GB의 사용자 MLX18 2-bit 경로는 입력 16토큰 뒤 23개 디코드19 단계에서 8.8 tok/s였고 문맥 상한은 128토큰이에요. RTX 5090 사례는 128GB RAM과 PCIe 5 NVMe20로 원본 혼합 FP4/FP8을 스트리밍해 새 입력에서 5.1 tok/s를 보고했어요. 두 사례 모두 프리필21을 측정하지 않았으므로 긴 계약서 묶음을 처음 읽는 시간은 알 수 없어요.
Spark 결과도 서로 같은 시험이 아니에요. 단일 Spark에서 Q2_K를 CPU22 mmap으로 읽은 CUDA-cmoe 실험은 prefill 1.9 tok/s, decode 2.8 tok/s였어요. 원본 혼합 FP4/FP8과 분산 런타임을 쓴 Spark 3대 구성은 decode 37.9 tok/s를, 4대 구성은 decode 43.12 tok/s와 별도 cold prefill 기준점을 공개했어요. 프리필이 없는 측정에서 첫 토큰 대기시간을 추정해 넣지 않아요.
| 구성 | 입력·실행 조건 | 공개 결과 |
|---|---|---|
| M3 Ultra 256GB, 사용자 MLX 2-bit | 입력 16토큰, 디코드 23단계, 문맥 상한 128토큰 | 8.8 tok/s; prefill 미측정 |
| RTX 5090, RAM 128GB, PCIe 5 NVMe | 원본 혼합 FP4/FP8 스트리밍, 신규 입력 | 5.1 tok/s; prefill 미측정 |
| Spark 1대, CUDA-cmoe, Q2_K CPU mmap | 단일 장비 측정 | prefill 1.9, decode 2.8 tok/s |
| Spark 3대, 원본 혼합 FP4/FP8 분산 | 분산 런타임 | decode 37.9 tok/s |
| Spark 4대 | 별도 cold prefill 기준 | decode 43.12 tok/s |
개발 런타임과 추측 디코딩은 아직 제약이 있어요
공개 직후 중심 경로는 SGLang·vLLM 전용 개발 이미지나 브랜치였고 H200·B300·GB300 같은 다중 GPU 서버를 대상으로 해요. 모델 페이지 설치 명령은 시작 안내이지 모든 정식 릴리스와 장비에서 도구 호출23·이미지·긴 문맥이 동작한다는 보장이 아니에요. 정확한 개발 커밋과 배포 레시피를 기록하고 각 기능을 따로 확인해요.
DSpark는 체크포인트의 다단계 예측 구성을 써 토큰 후보를 제안하고 본 모델이 검증하는 추측 디코딩이에요. 초기 SGLang 결과는 B300 GPU 4개, 특정 개발 브랜치, 반복되는 기상 노트라는 고정 입력에서 기능이 작동함을 보여 줘요. 다른 질문이나 소비자 GPU 한 장의 속도 측정은 아니에요.
조합 제약도 확인해야 해요. SGLang의 인코더 SWA bounded replay는 추측 디코딩과 함께 사용할 수 없고, 프리필·디코드 분리와 DSpark 통합은 진행 중이에요. vLLM은 DSpark를 켠 상태에서 CPU KV 오프로딩 오류가 보고됐어요. 필요한 오프로딩·문맥·이미지 입력을 한 구성에서 함께 통과하는지 확인한 뒤 장비를 정해요.
용어 각주
MoE — 여러 전문가 하위망 중 일부를 입력에 따라 선택해 사용하는 모델 구조입니다. 총 파라미터 수와 한 토큰 처리에 활성화되는 파라미터 수는 다를 수 있습니다.
본문으로 돌아가기체크포인트 — 학습된 모델의 가중치 등을 저장한 파일입니다. 같은 모델 계열도 버전이나 용도에 따라 다른 체크포인트를 쓸 수 있습니다.
본문으로 돌아가기추측 디코딩 — 초안 모델·MTP 헤드·반복 문맥 조회가 출력 후보를 먼저 만들고, 본 모델이 후보를 검증해 확정하는 생성 기법입니다.
본문으로 돌아가기SSD — 플래시 메모리를 사용하는 데이터 저장 장치입니다. 전원이 꺼져도 데이터가 보존됩니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기FP8 — 값 하나를 8비트로 표현하는 부동소수점 수치 형식입니다.
본문으로 돌아가기BF16 — 모델 수치를 저장하고 계산하는 16비트 부동소수점 형식입니다. FP32와 같은 폭의 지수부를 써 넓은 값 범위를 표현합니다.
본문으로 돌아가기KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기n-그램 — 연속된 n개의 토큰 또는 항목으로 이루어진 구간입니다. 문맥 조회·추측 생성에 쓰일 수도 있고, 일부 모델에서는 임베딩 테이블의 구성 단위로도 쓰입니다.
본문으로 돌아가기프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기PLE 임베딩 테이블 — Per-Layer Embedding의 약자로, 모델의 특정 층에 임베딩 정보를 더하는 구조입니다. Qwen Flash-Next 계열은 n-그램 테이블을 사용하며, 지원되는 실행 경로에서는 이 테이블을 RAM이나 SSD로 오프로딩할 수 있습니다.
본문으로 돌아가기시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기오프로딩 — 메모리가 부족할 때 모델 데이터 일부를 GPU 메모리에서 시스템 RAM이나 저장장치로 옮겨 처리하는 방식입니다. 데이터 이동이 추가됩니다.
본문으로 돌아가기통합 메모리 — CPU와 GPU가 같은 물리 메모리 풀을 공유하는 구조입니다.
본문으로 돌아가기MLX — Apple이 개발하는 머신러닝 프레임워크로, Apple Silicon의 CPU와 GPU가 공유하는 메모리를 활용해 모델을 실행합니다.
본문으로 돌아가기토큰 디코드 — 입력과 앞서 만든 답변을 바탕으로 다음 출력 토큰을 차례로 생성하는 단계입니다.
본문으로 돌아가기NVMe — SSD가 PCI Express를 통해 통신할 때 사용하는 저장 장치용 프로토콜입니다.
본문으로 돌아가기프리필 — LLM이 입력 프롬프트를 읽고 각 토큰의 내부 표현을 계산하는 단계입니다. 입력이 길수록 처리할 토큰이 많아집니다.
본문으로 돌아가기CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기도구 호출 — 모델이 파일 읽기·검색·명령 실행 같은 외부 기능의 이름과 인자를 요청하는 형식입니다. 요청을 실제로 실행할지는 에이전트 런타임과 권한 설정이 결정합니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- DeepSeek V4.1 Flash는 문서와 질문을 받아 답변을 생성하는 대형 MoE 모델이에요. 공식 체크포인트는 약 475.2GiB이고, 백본·Engram 테이블·추측 디코딩 구성 등을 함께 적재해요. 개인 장비의 스트리밍 실험부터 다중 Spark 구성까지 공개 실행 사례를 살펴봐요.
- 필요한 메모리는 어느 정도인가요?
- DeepSeek V4.1 Flash는 40층 백본 552B에 196B Engram이 더해져요. 소개된 입력 8B와 생성 16B는 토큰 계산 때 활성화되는 경로를 뜻해요. 선택되지 않은 전문가 가중치도 저장장치와 메모리에 남으므로 활성 16B를 16GB VRAM으로 바꿔 생각할 수 없어요.
수정 내역
사이트의 안내가 바뀐 기록입니다. 설치된 엔진·모델 버전을 자동으로 확인한 결과는 아닙니다.
새 모델의 단일 Spark 실행 경로 추가
DeepSeek과 Ling의 공개 단일 Spark 측정을 속도 체감에 연결했습니다. 확인되지 않은 장비에는 같은 속도나 실행 명령을 적용하지 않습니다.