TensorFoldとは？Mac・RTX・DGX Spark向けローカルモデル実行エンジン

TensorFoldはApple SiliconとNVIDIA GPU⁵でチェックポイントを読み込み、MetalまたはCUDAカーネルで回答を生成するローカル推論エンジンです。サーバーを起動すると、クライアントはhttp://127.0.0.1:8080/v1へプロンプト⁶を送り、回答を受け取ります。以下ではモデル選択、サーバー起動、最初のリクエストを順に説明します。

この例ではTensorFold 1.0.8のリリースに記載されたMetal構成を使います。対応チェックポイントはMLX⁷ affine 4-bit、group 64形式のTensorFold/Qwen3.8-27B-MLX-4bitで、対応機器はM5 MaxとM3 Ultraです。Qwen3.8-27B用DFlash2ドラフターのIDはz-lab/Qwen3.8-27B-DFlash2です。

リリースのQualified models表とtensorfold modelsの出力を照合すると、このファイルと使用機器が対応構成か確認できます。

表にはTensorFold 1.0.8のMetal・CUDA構成を記載しました。MIAの別パッチ版TensorFold 0.6.xレシピはバージョンと実行経路が異なります。

HomebrewでTensorFoldをインストールしてバージョンを確認します。次に指定のQwen3.8-27Bチェックポイントを取得すると、TensorFoldがモデルファイルを検証してキャッシュに保存します。

brew install ashhart/tensorfold/tensorfold
tensorfold --version

モデルの取得後、DFlash2ドラフターを指定してサーバーを起動します。既定のAPI baseはhttp://127.0.0.1:8080/v1で、--name qwen38-localがAPIリクエストで使うモデル名を設定します。サーバーの準備ができるとターミナルにlistening状態が表示されます。この画面を開いたまま、別のターミナルからリクエストを送ります。

tensorfold pull TensorFold/Qwen3.8-27B-MLX-4bit

tensorfold serve TensorFold/Qwen3.8-27B-MLX-4bit --name qwen38-local --drafter z-lab/Qwen3.8-27B-DFlash2 --context 4096 --parallel 1 --temperature 0

サーバーが起動した状態で2つ目のターミナルを開き、以下のリクエストを送ります。choices[0].message.contentに一文の回答が表示されれば、リクエストが往復しています。アプリではOpenAI互換プロバイダーを選び、base URLにhttp://127.0.0.1:8080/v1、モデル名にqwen38-localを入力します。

curl -fsS http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"qwen38-local","messages":[{"role":"user","content":"この関数の戻り値を説明してください: def first_item(items): return items[0]"}],"max_tokens":128,"temperature":0}'

モデルIDが見つからないという応答が出たら、tensorfold modelsで実際のキャッシュ名を確認します。pull中にsha検証やネットワークエラーが出た場合は同じpullコマンドを再実行して不足ファイルを取得し、tensorfold info TensorFold/Qwen3.8-27B-MLX-4bitで形式と情報を確認します。起動時にunsupported familyと表示されたら、TensorFoldのバージョンとtensorfold modelsの一覧を照合してください。このモデル経路はM5 MaxとM3 UltraのMetal向けです。