機種ごとの専用形式 · 4Kコンテキスト

DeepSeek-V4.1-Flash 総552Bのうちトークンごとに16Bが動作するMoEモデル · Q2_Kファイル264.5GB · 実行時メモリ未確認

552Bバックボーンと独立したEngramテーブルを使用するMoEモデルです。Spark、RTX 5090、大容量メモリ搭載Macでの公開実行事例を機器・形式別に区別し、SSDストリーミングと専用ランタイムを必要とする実験的経路も含みます。

このモデルを実行する代表的な設備

利用可能 116GB · 273GB/s

CUDA-cMoE · mmap demand paging · text only

トークン生成

2.8 tok/s · CUDA-cMoE公開参考値

最初のトークン

2155.8秒 · 直接測定したTTFTではありません

利用可能 480GB · 819GB/s

oMLX 0.7.0.dev2 · Lightning MTP on · Engram resident in RAM

トークン生成

23.1 ~ 41.0 tok/s

最初のトークン

7.1 ~ 12.6 秒

実行ガイド

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値も一緒に変更されます。

予算、騒音、オペレーティングシステム、および中古許容の有無を基に、モデルが導入される構成をまず絞り込むことができます。