実行プログラムと拡張機能
最終更新
Muse Spark OpenはMac 1台で実行できますか？
単体MacのoQ3eと分散NVFP4を分けて考えます。
Muse Spark Openは総816B・有効42Bパラメータのマルチモーダルモデルです。MetaとAppleのNVFP41 MLX2経路はM5 Ultra Mac Studioを2台使い、oMLX 0.7.1rc1は370GBのoQ3eをM3 Ultra・512GBのMac 1台で実行した測定を公開しています。
どんな入力を受け取り、何を返しますか？
Muse Spark Openはテキスト・画像・動画・音声を入力し、テキストで回答するマルチモーダル言語モデルです。総816B、トークン3ごとの有効パラメータは42Bで、推論時に最大100万トークンの文脈を扱えます。コーディングやエージェント処理向けですが、ローカル実行を検討する際は、重みと実行時の余裕を確保できる機器があるか先に確認します。Metaモデルカード
重みの精度と量子化4でファイル容量は変わります。MetaのモデルカードはGPU5配信にNVFP4で最低700GB、BF166で2TBのVRAM7を示し、KVキャッシュ8と活性値のための追加メモリも必要と説明しています。これは大規模サーバーの要件であり、一般GPUとの適合性を示す数字ではありません。
512GBのMac 1台と複数M5 Ultraの構成を分けて考える
Meta と Apple が紹介した MLX の分散実行は、各 512GB のユニファイドメモリ9を備えた M5 Ultra Mac Studio 2 台を使用します。別途、oMLX 0.7.1rc1 は 370GB の oQ3e チェックポイント10を、ユニファイドメモリ 512GB の M3 Ultra Mac 1 台で実行した結果を公開しています。
量子化方式と実行エンジンが異なるため、性能値を直接比較しないでください。Apple の MLX 条件 · oMLX 0.7.1rc1
分散推論にはmacOS 26.2以降と、Mac間のThunderbolt 5 RDMA直接接続が必要です。まずhostfileに各Mac、Thunderbolt IP、RDMAデバイスを登録します。Metaのmlx.distributed_configの案内にhostfile.jsonの作成手順があり、既存のJACCLガイドでは接続設定から確認コマンドまで説明しています。以下のサーバーコマンドはファイルを置いたメインMacで実行してください。
mlx.launch --hostfile hostfile.json --backend jaccl \
--env MLX_METAL_FAST_SYNCH=1 -- \
mlx_lm.server \
--model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
--port 8080下の表はAppleが8,192トークン文脈で測定したM5 Ultraの分散NVFP4 MLX結果です。単体MacのoQ3eとはモデル形式と実行エンジンが異なるため、数値を直接比較せず、それぞれの経路で自分の入力を試してください。
| Mac構成 | 最初のトークンまで | デコード速度 |
|---|---|---|
| 2台のパイプライン | 8.4秒 | 15.74 tok/s |
| 2台のテンソル並列 | 8.2秒 | 24.99 tok/s |
| 4台のテンソル並列 | 4.8秒 | 36.73 tok/s |
512GB Mac 1台でoMLXを使う
Mac 1台では、Metaの分散NVFP4経路とは別に、oMLX 0.7.1rc1でmlx-community/Muse-Spark-Open-816B-A42B-oQ3eを選びます。モデルファイルは370GBで、リリースノートはM3 Ultra・512GBのMacで読み込めたと報告しています。oMLXはリリース候補版で、安定版とは異なります。oMLXリリースノート
oMLXアプリのModels > DownloaderでRecommendedタブを開き、Muse Spark Open oQ3eを選びます。ダウンロード前に370GBのファイルを保存できる空き容量を確認し、完了後にモデル一覧から読み込みます。最初は短いテキストと小さめの文脈でメモリ警告なく応答するか確認し、その後で画像や長文脈を追加してください。モデル推奨機能
このM3 Ultra・512GB・oQ3e実行について、oMLX 0.7.1rc1はプリフィル11225 tok/s、デコード1221.3 tok/sを報告しています。リリースノートには入力長や出力トークンなどの全条件がないため、Appleの8,192トークンM5 Ultra表と直接比較しないでください。自分の文書で複数回実行し、モデル読み込み・プリフィル・デコードを分けて記録します。
モデルが一覧にない、または読み込めない場合は、oQ3eを選んだか、ダウンロードが完了したか確認します。ファイルがそろっているのにメモリ警告が出る場合は他のモデルを終了し、文脈を短くして再実行してください。oMLXログの最初のエラーと、使用中バージョンの対応状況を確認します。
対応メディアとライセンス条件を確認する
用語の注釈
NVFP4 — NVIDIAが定義した4ビット浮動小数点データ形式です。対応状況はGPU世代、モデル、ソフトウェア実装によって異なります。
本文に戻るMLX — Appleが開発する機械学習フレームワークで、Apple SiliconのCPUとGPUが共有するメモリを使ってモデルを実行します。
本文に戻るトークン — モデルが入力や出力を分けて処理する単位です。
本文に戻る量子化 — モデルの重みや計算値を少ないビット数で表し、保存容量やメモリ使用量を減らす方法です。表現が粗くなるため、精度にも影響することがあります。
本文に戻るGPU — 多くの計算を並列に処理するプロセッサーです。AIモデルの実行ではモデル計算を担います。
本文に戻るBF16 — モデルの数値に使う16ビット浮動小数点形式です。指数部はFP32と同じ幅で、同程度に広い値の範囲を表せます。
本文に戻るVRAM — グラフィックカードのGPUが使うメモリです。モデルの重みや計算途中の値を保存します。
本文に戻るKVキャッシュ — 過去トークンのAttention用キー・バリューを保存し、後続トークン生成で再利用するメモリです。容量はコンテキスト長やバッチサイズで変わります。
本文に戻るユニファイドメモリ — CPUとGPUが同じ物理メモリ領域を共有する構造です。
本文に戻るチェックポイント — 学習済みモデルの重みなどを保存したファイルです。同じモデル系列でも、版や用途によって異なるチェックポイントを使うことがあります。
本文に戻るプリフィル — LLMが入力プロンプトを読み、各トークンの内部表現を計算する段階です。プロンプトが長いほど処理するトークンが増えます。
本文に戻るトークンのデコード — 入力とそれまでの回答をもとに、次の出力トークンを順に生成する段階です。
本文に戻るランタイム — プログラムの実行時に必要な機能を提供するソフトウェア環境です。ローカルAIではモデル実行エンジンを指すこともあります。
本文に戻る
よくある質問
- この記事で最初に確認すべきことは何ですか？
- Muse Spark Openは総816B・有効42Bパラメータのマルチモーダルモデルです。MetaとAppleのNVFP4 MLX経路はM5 Ultra Mac Studioを2台使い、oMLX 0.7.1rc1は370GBのoQ3eをM3 Ultra・512GBのMac 1台で実行した測定を公開しています。
- 必要なメモリはどのくらいですか？
- 重みの精度と量子化でファイル容量は変わります。MetaのモデルカードはGPU配信にNVFP4で最低700GB、BF16で2TBのVRAMを示し、KVキャッシュと活性値のための追加メモリも必要と説明しています。これは大規模サーバーの要件であり、一般GPUとの適合性を示す数字ではありません。
- 選ばないほうがよいのはどのような場合ですか？
- 量子化方式と実行エンジンが異なるため、性能値を直接比較しないでください。[Apple の MLX 条件](https://machinelearning.apple.com/research/mlx-distributed-inference) · [oMLX 0.7.1rc1](https://github.com/jundot/omlx/releases/tag/v0.7.1rc1)
- 条件と出典はどこで確認できますか？
- Muse Spark Openはテキスト・画像・動画・音声を入力し、テキストで回答するマルチモーダル言語モデルです。総816B、トークンごとの有効パラメータは42Bで、推論時に最大100万トークンの文脈を扱えます。コーディングやエージェント処理向けですが、ローカル実行を検討する際は、重みと実行時の余裕を確保できる機器があるか先に確認します。[Metaモデルカード](https://huggingface.co/meta-models/Muse-Spark-Open-816B-A42B)