DiffusionGemmaでMacに何ができる？文書・画像・音声との連携

逐次生成は作ったトークン⁴の後ろへ次を追加します。DiffusionGemmaは一つのブロックのトークンを一緒に整えてから、次のブロックを作ります。エンコーダーが入力を読み、デコーダーが回答ブロックを生成します。速度を比べる際も、入力処理と回答生成の時間を分けて記録してください。

完成したブロックから表示するプログラムでは、回答がまとまって出ることがあります。文書要約なら回答全体の完了時間と正確さを比べます。会話に使う場合は、最初の出力ブロックまでの時間も記録すると、応答をどれだけ待つか分かります。

Apple Silicon搭載Macとuvを用意し、別の作業フォルダーへ取得します。uv syncで環境を作ってから以下の4-bit例を実行します。初回は重みを取得するため保存先と通信を用意してください。Fast-dLLM-mlx

git clone --depth 1 https://github.com/MacPaw/Fast-dLLM-mlx.git
cd Fast-dLLM-mlx
uv sync

次のコマンドは短い議事メモから決定事項・担当者・期限を整理するよう依頼します。「ミンスが新しい検索画面の案を作る」ことと「金曜まで」の期限が正しく出力されたか確認してください。短いメモの処理後にメモリの余裕があれば、実際の文字起こしへ入力を増やしてみます。

uv run python -m fast_dllm_mlx.diffusion_gemma \
  --model mlx-community/diffusiongemma-26B-A4B-it-4bit \
  --prompt "次のメモの決定、担当者、期限を整理してください。ミンスが金曜までに新しい検索画面の案を作成します。" \
  --max-new-tokens 256 --steps 16 --threshold 0.9 \
  --use-compile --no-think --use-self-conditioning --max-canvas-length 64

文書要約は文字を直接入れ、画像説明やOCR⁵は画像入力対応の実装を選びます。動画はフレームで処理します。上のコマンドは文字用なので、画像・動画アプリには対応するマルチモーダル前処理も必要です。

音声アプリはASRで録音を文字にし、DiffusionGemmaへ送り、読み上げるならTTS⁶へ渡します。韓国語会議ならWhisperKitで文字起こしし、DiffusionGemmaで決定をまとめられます。人名や日程を正しく引き継ぐため、誤認識を先に直します。

DiffusionGemmaは文書や画像を受け取って回答を作るモデルです。DFlash2は、対応する別の本体モデルが速く回答できるようにdraftトークンを提案します。SplashやANEMLL Forgeは、そのdraft生成を使える本体モデルと実行装置を組み合わせたプロジェクトです。

Neural Engine⁷を試すなら、このMLX例とは別にプロジェクトのANE対応モデルを選びます。ANEMLL ForgeにはQwen3.8-27BとDFlash2のCore AIパッケージを組み合わせた研究経路があります。M5・M6の関数セットと文脈設定に合うファイルを選んでください。ANEMLL Forge

Qwen3.8をすでに使っている場合は、両モデルに同じ議事メモと出力指示を送ってください。担当者と期限が正しいか、メモにない決定を追加していないかを読み、最初の出力と全体の完了時間を記録します。拡散ステップやキャンバスサイズを変える場合も同じメモで比べます。

メモリエラーなら入力と出力の上限を減らし、短い要求で再実行します。モジュールが見つからなければuv syncしたリポジトリ内か確認します。正常な回答が出たら文字起こしと要約を接続し、画像は対応する実装で別に追加してください。