Slotstream：125Bモデルを16GBのMacで動かす方法

SlotstreamはApple SiliconのMacで1,250億パラメータのモデルを動かす実行プログラムです。モデルファイルは約105GBありますが、16GBのMacでも動くことがこのツールの目的です。モデル全体をメモリに載せず、いまの計算に必要な部分だけをSSDから読みます。

105GBのモデルファイルを16GBのメモリに収める方法は一つです。計算に使わない部分をディスクに置き、使う瞬間だけ読みます。ディスクの読み込み速度が生成速度を大きく左右します。

Qwen3.8-Flash-Nextはエキスパートネットワークを複数持ち、トークンごとに一部だけを使うMoE³モデルです。共有の重みはメモリに置き、選ばれたエキスパートだけをSSDからキャッシュに読み込みます。よく使うエキスパートはメモリに残して次の読み込みを減らします。

そのためメモリの小さいMacではディスクの読み込みが速度を決め、メモリの大きいMacではより多くのエキスパートを保持できるぶん速くなります。どちらでも計算結果は同じです。

Apple SiliconのMacとmacOS 14以上が必要で、SSDの空きは約110GBです。メモリは16GBから対応し、8GBのMacでは最小のメモリ計画でも収まらないため起動を拒否します。

Windows、Linux、Intel Macには対応していません。Apple SiliconとMLX⁴、Metal⁵の上で動く構造なので、他の環境では実行できません。

ディスクの空きが足りないとモデルのダウンロード中に止まります。モデルファイルとキャッシュが同じディスクを使うため、110GBより少し多めに空けておくのが安全です。

ターミナルでインストールスクリプトを実行します。同じコマンドをもう一度実行すると更新されます。

curl -LsSf https://raw.githubusercontent.com/carloslfu/slotstream/main/install.sh | sh

インストール後はdoctorでMacの状態を確認し、runで最初の返信を受け取ります。初回はモデルをダウンロードし、中断しても再開できます。

slotstream doctor
slotstream run --prompt "하늘이 파란 이유가 뭐야?"

ダウンロードするファイルは100GBを超えるため、回線によっては数時間かかります。一度取得すれば以後はオフラインでも実行できます。

搭載メモリによって期待できる速度と自動のコンテキスト長が変わります。以下の値は開発チームが公開した推定値で、実際の速度は他のアプリのメモリ使用に応じて下がります。

96GB以上はモデルがメモリに収まる区分なので、全体を載せるエンジンの方が速いと開発チームは述べています。

開発チームが公開した測定は2026年10月5日、48GBのM5 Proで33GBのメモリ予算のもとに行われました。元の4ビットモデルを使い、3種類の作業をそれぞれ3回ずつ実行しています。

この値は回答を生成する区間だけを測ったものです。モデルを読み込む時間とプロンプト⁶を読む時間は別にかかるため、会話の最初のターンは表より遅く感じます。

以前の0.2.19リリースは22GBの予算で毎秒15.86トークンを記録しました。予算が大きくなればより多くのエキスパートをメモリに置けるため、ディスクの読み込みが減ります。

開発チームはこの数字が同一設定での速度向上を意味するわけではないと述べています。予算も作業の組み合わせも測定方法も異なるため、リリース間の比較として読むべきではありません。

次の層でどのエキスパートが必要になるかを予測し、要求される前にSSDから読み込みます。この予測は速度だけを変え、出力は変えません。

エキスパートのキャッシュは他のアプリがメモリを要求すると縮みます。キャッシュが縮むと速度は落ちますが、モデルからエキスパートが消えるわけではありません。

メモリ目標を指定しない場合は33GBを基準にし、実際の空きに合わせて調整します。起動時には予算とキャッシュの大きさ、余裕分を分けて表示します。

メモリ目標を自分で指定する場合、その値は最大予算であり、常にそれだけ使うわけではありません。短いリクエストは目標よりずっと少ない使用量で終わります。

Ollama、OpenAI、Anthropic形式のAPI⁷を同時に開きます。Claude Code、Codex、opencode、Hermesをつなげて使え、launchの後ろにツール名を付けて実行します。

slotstream launch claude

複数のリクエストを同時に処理はしません。接続したアプリが1つのモデルを共有するため、複数のエージェントを同時に動かす用途なら別のツールが合います。

このツールは16GBから64GBのMacを対象に作られています。それ以上のメモリを持つMacには、そもそもこの方式が必要ありません。

PLE⁸オフロード⁹のようにモデル構造を使ってメモリを分ける方式とは異なり、このツールはエキスパート単位でディスクとメモリを行き来します。同じモデルでもディスクに置くものが違います。

画像の精度ベンチマークや、同じMacでの他モデルとの比較はまだありません。生成はモデルファイルを書き換えませんが、自動設定を大きく超えるとスワップが増えてSSDへの書き込みが発生します。