Q4 · 4K チャンク基準
Qwen3.8 27B총 552B 중 토큰당 16B가 활성화되는 MoE 모델 · Q2_K 264.5GB 저장 파일 · 작업 메모리 미확인
552Bバックボーンと独立したEngramテーブルを使用するMoEモデルです。Spark、RTX 5090、大容量メモリ搭載Macでの公開実行事例を機器・形式別に区別し、SSDストリーミングと専用ランタイムを必要とする実験的経路も含みます。
- Q2_K 저장 파일
- 264.5GB · mmap 페이징
- 総パラメータ
- 27B
- 活性パラメータ
- 27B
- ネイティブコンテキスト
- 256K
このモデルを実行する代表的な設備
トークン生成
42.8 ~ 50.3 tok/s
最初のトークン
6.7 ~ 13.3秒
実行ガイド
Qwen3.8 27B ローカルサービィング実行レシピ
デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値も一緒に変更されます。
デバイスから再選択したい場合
予算、騒音、オペレーティングシステム、および中古許容の有無を基に、モデルが導入される構成をまず絞り込むことができます。