私のコンピュータは、上位何パーセントですか？

ローカルAI生成の速度を直接測定します。GPUの名前および論理プロセッサ数はブラウザが公開する範囲で表示されます。チップセットの詳細を確認すると、グラフィックドライバーの追加情報を取得できます。確認できないCPUおよびRAMは直接入力可能です。直接入力したスペックはデバイス内部にのみ保存され、ランキングに反映されません。

標準測定では、準備実行後に同じ質問で最初のトークンを除く128トークンのデコードを3回測定し、中央値を記録します。個人の最高記録と結果を共有できます。

初期には、体験用仮想比較グループの上位%を表示します。実際のコンピュータの分布を測定または推定した値ではありません。同意された同等条件の記録が30件以上ある場合に、参加者の順位に変更し、仮想比較グループと実際の参加データを混同しません。全体コンピュータの総合性能や大きなモデルの速度順位ではありません。

何を確認できますか？

単に事前に定義された文だけを再生成するシミュレーションではありません。質問を直接入力すると、モデルファイルおよび演算はユーザーのブラウザ内で実行され、回答はトークンごとに表示されます。完了後には、最初のトークンが出力されるまでの時間と実際のトークン生成速度を併せて表示します。

注意事項（実行前）

最初の実行時にはQwen 3.5 0.8B Q4モデルファイルをダウンロードし、次の実行以降はブラウザキャッシュを使用します。実行には約1.6GBのGPUメモリが必要で、WebGPUをサポートする最新のChrome、EdgeまたはSafariが必要です。小さなモデルであるため、最新の事実の確認よりもローカル実行のプロセスやデバイスごとの体感速度を確認するのに適しています。

どこで処理されますか？

入力された質問および生成された回答は、この体験機能の分析データとして送信されません。モデルはボタンを押した後にのみダウンロードされ、現在のタブを閉じると実行中の作業も終了します。

例示デモ

例示体験です。モデルの実行や録音・音声のアップロードは行いません。表示時間は実測データまたは条件付き推定値に基づき、実環境とは異なる場合があります。

対象となる音声モデル

Qwen3-ASR 0.6B·1.7B, Whisper, faster-whisper, Parakeet v3, Qwen3-TTS, Kokoro, Chatterbox

モデル別の実行ガイド

• Nemotron 3.5 ASRで韓国語をリアルタイム文字起こししてテキスト保存
• MoonshineでGPUなしの英語リアルタイム文字起こし
• WhisperXで韓国語字幕の同期と話者ラベルを整える
• Supertonic 3でGPUなしの韓国語音声を作る
• Granite Speech 5 TurboCTCで英語音声を文字起こし
• VoxCPM2で韓国語音声を作る：30言語TTS
• OmniVoiceで韓国語音声を作る：600以上の言語・方言に対応
• Pocket TTSでCPU音声生成：6言語に対応
• Fish Audio Drama 3で2人の会話を1つのWAVにする
• Macで韓国語の録音を文字起こしするには？WhisperKitの使い方
• AuKで音声をローカル編集：発話内容の修正・ノイズ除去・TTS
• ローカル音声秘書の作成：ASR・LLM・MCP・TTS接続ガイド
• ローカルAI音声認識ガイド：自分のPCで文字起こし
• Qwen3-ASRとWhisperを比較：どのローカル文字起こしを選ぶ？
• 自分のパソコンで音声を作る：ローカルTTSガイド
• Qwen3-TTSとは？文章を声に変えるAI
• ローカルTTS比較：言語・機材・速度根拠の読み方
• 録音を外部に送らず韓国語で文字起こしする：whisper.cppの始め方
• mlx-audio：1回の導入で合成と認識を一緒に
• Fish Audio Drama 3 int4：41.5GBを22GBに減らして1枚に
• Piperの韓国語音声：Home Assistantにko_KRの声を載せる
• Home Assistantの音声アナウンス：Piperの声で家の中に話しかける
• Wyomingで音声サーバーを分ける：文字起こしを別の機器へ移す

比較可能な項目

• 1つの結果を生成する予想時間
• 出力解像度と動画の長さによる違い
• GPUメモリへのロード有無およびオフロードの必要性
• 予想電力消費量（1回の生成あたり）

ローカルで実行できるタスク

• スムーズなスケールアップとスケールダウンを実現するため、チャンクごとに画像を分割し、各チャンクに対してプリフィルとデコードを実行することで、複数のスケールアップとスケールダウンを効率的に実行できます。
• 文字が入ったポスターと製品画像の作成
• 変形・合成を行うために参考画像をもとにする
• 一枚の写真を短い動画に変換する
• 対話と効果音を含むショートフォームの作成

画像生成モデル

• Z-Image-Turbo: Diffusers · 9 steps / 8 DiT forwards · CFG 0
• Qwen-Image 2.1 Turbo: Diffusers · checkpoint 8-step schedule · CFG 1
• Pruna Qwen-Image 2.1: Pruna · distilled checkpoint
• FLUX 3 Image Klein · distilled：参照画像と配置領域を指定して画像制作
• Qwen-Image 2.1: 一つのモデルで画像制作、背景変更、透明素材づくり
• FLUX.2 [klein] 4B高速シアン、スムージー、リピート生成
• FLUX.2 [klein] 9B9Bモデルで画像生成
• Qwen-Image-2512: Poster, image with mixed Korean-English text, realistic representation
• FLUX.2 [dev] 32B複数のピサチが存在する画像

ビデオ生成モデル

• MiniMax H3-Base対話・効果音を含むショートフォーム、最初・最後のフレーム制御
• LTX-2.5 Audio Videoローカルパイプラインで音声と動画を一度に生成する
• HunyuanVideo-1.51枚の画像に動きを加える短い動画
• Wan2.2 TI2V-5B24GBグラフィックカードで720p動画生成

MiniMax H3 ローカル範囲

この比較は、公開H3-Baseの768pローカル実行についてのみを扱います。文脈解釈および2K再生成ステージはローカル生成時間から除外します。

おすすめの基準

現在の機器で予想速度範囲の下限が30 tok/s以上なら、そのまま使う方法を最初に表示します。届かない場合は、同じ機器でより速い小型モデルを探します。

4つの選択肢

• 追加費用なし：現在の機器で30 tok/s以上を保つモデル
• 新品バランス：30 tok/s以上を満たす新品のうち初期費用が最も低い機器
• 大型モデルの余裕：対象モデルを読み込んだ後の高速メモリ残量が最も多い新品
• 最高性能：同じモデルで単一応答のトークン生成が最も速い新品

主要仕様

使用可能メモリー

13GB

メモリ帯域

120GB/s

ローカルLLM持続負荷の推定

約42W

韓国の参考価格（ウォン）

165〜169万ウォン

向いている人

• 要約・翻訳・軽量コーディング
• 常に静かに動作する
• 個人用ローカルLLM

購入前に確認

可用メモリが小さいため、20B以上モデルと長いコンテキストを同時に扱うことは難しいです。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

13GBの容量内でモデルとKVキャッシュを同時に収容する必要があるため、文脈長が最も初期の制約となります。

おすすめ購入構成

M4 · ユニファイドメモリ 16GB · SSD 512GB以上

より多くのお金をかける基準

8B〜12Bだけなら十分です。27Bを考慮する場合は、最初から24GB以上が望ましいです。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

M4搭載のMac mini 16GBで実行可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Gemma 4 12B, Gemma 4 26B-A4B (MoE)などを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

Mac mini M4 16GBのローカルLLMにおける電力消費はどのくらいですか？

継続的な負荷基準では約42Wで、実際の範囲は28–58Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

20GB

メモリ帯域

120GB/s

ローカルLLM持続負荷の推定

約45W

韓国の参考価格（ウォン）

150–235万ウォン

向いている人

• 12Bで短い文書を要約
• 関数やコードの一部について質問
• 机に置ける小型の本体

購入前に確認

27B Q4に長い文書を渡すことが主な用途なら、その入力長でメモリに余裕があるか確認してから選んでください。macOSや起動中のアプリも同じ24GBを使い、購入後にRAMだけを増設することはできません。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

モデルがメモリに収まった後は、容量を増やしても生成速度が比例して上がるわけではありません。M4の24GBと32GBは、同じ120GB/sのメモリ帯域幅です。待ち時間が気になるなら、容量だけでなくProと同じ条件で速度を比べてください。

おすすめ購入構成

M4・10コアGPU・ユニファイドメモリ24GB・SSD 512GB推奨

より多くのお金をかける基準

12B級の回答と待ち時間に不満がなければ、ここで選択を終えても構いません。使いたい大きなモデルが決まった場合や、他のアプリと併用するとメモリが足りない場合に、32GBへの追加費用を検討してください。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

M4搭載のMac mini 24GBで実行可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Gemma 4 12B, K2 Horizon MoVA 36B-A4Bなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

Mac mini M4 24GBのローカルLLMにおける電力消費はどのくらいですか？

継続的な負荷基準では約45Wで、実際の範囲は30–60Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

27GB

メモリ帯域

120GB/s

ローカルLLM持続負荷の推定

約48W

韓国の参考価格（ウォン）

180–240万ウォン

向いている人

• 1台で27B Q4を実行
• 組み立て不要の個人用サーバー
• 24GBではメモリ不足

購入前に確認

CUDA専用の拡張機能をそのまま移して使うなら、この構成は選ばないでください。メモリが32GBあっても、macOSとの互換性は解決しません。販売ページではM4チップ、ユニファイドメモリ32GB、SSDの選択肢がそれぞれ合っているかも確認してください。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

生成速度の差は、短い質問よりも長い回答を受け取るときに積み重なります。27B Q4が収まるかとは別に、自分が待てる長さの回答で体験してみてください。コンテキストを長くすると、残るメモリも減ります。

おすすめ購入構成

M4・10コアGPU・ユニファイドメモリ32GB・SSD 512GB推奨

より多くのお金をかける基準

12Bだけを使い、24GBに余裕があるなら、32GBまで増やす必要はありません。27Bの回答は気に入っていても待ち時間が長いなら、SSDを大きくするより、M4 Pro 48GBとプリフィル・生成時間を比較してください。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

M4搭載のMac mini 32GBで実行可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Qwen3.8 27B, K2 Horizon MoVA 36B-A4Bなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

Mac mini M4 32GBのローカルLLMにおける電力消費はどのくらいですか？

継続的な負荷基準では約48Wで、実際の範囲は32–63Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

41GB

メモリ帯域

273GB/s

ローカルLLM持続負荷の推定

約92W

韓国の参考価格（ウォン）

263–344万ウォン

向いている人

• 27Bで文書・コード作業を繰り返す
• モデルと仕事用アプリを併用
• 組み立て不要のMac構成

購入前に確認

CUDA専用のComfyUIノードをそのまま使う必要があるなら、Macよりも対応GPUを搭載した構成を検討してください。70Bが目的の場合も、48GBという数字だけで選ぶのは避けましょう。モデルファイル、入力キャッシュ、ほかのアプリが使う容量を合わせて確認する必要があります。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

長い入力を読む時間と回答を生成する時間は、同じ割合で変わるわけではありません。Proの273GB/sをM4の120GB/sで割った値が、そのまま作業全体の速度倍率になるわけではありません。同じモデル・入力で、二つの区間を分けて比較してください。

おすすめ購入構成

M4 Pro · 20コアGPU · 統合メモリ48GB · SSD 1TB推奨

より多くのお金をかける基準

12B級に短く質問し、今の待ち時間に不満がなければ、通常のM4で十分な場合もあります。27Bを繰り返し使うときや長い入力で短縮できる時間が、自分の作業に必要かを確認してから、Proとの価格差を判断してください。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

Mac mini M4 Pro 48GBで利用可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Qwen3.8 27B, K2 Horizon MoVA 36B-A4Bなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

Mac mini M4 Pro 48GBのローカルLLMにおける電力消費はどのくらいですか？

継続的な負荷基準では約92Wで、実際の範囲は62–122Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

27GB

メモリ帯域

170GB/s

ローカルLLM持続負荷の推定

約55W

韓国の参考価格（ウォン）

235〜320万ウォン

向いている人

• 27B Q4と仕事用アプリを併用
• 短い入力から始めてコンテキストを拡張
• 組み立て不要の小型Mac

購入前に確認

12Bクラスのモデルと短い入力だけを使うなら、最初から32GBを選ぶ必要はありません。24GBでモデルと入力キャッシュが十分収まるか確認してください。一方、CUDA専用アプリやノードが必須なら、ユニファイドメモリを増やしても互換性は得られません。現在の販売構成ではSSD容量と最終価格を一緒に確認してください。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

32GBすべてをモデルに使えるわけではありません。macOS、開いているアプリ、入力キャッシュが同じユニファイドメモリを共有します。また公式仕様ではM6の24GBと32GBの帯域幅は同じ170GB/sなので、両方に収まる作業では容量差だけで生成速度が比例して上がるわけではありません。

おすすめ購入構成

M6・12コアGPU・32GBユニファイドメモリ・1TB以上のSSDを推奨（販売構成を確認）

より多くのお金をかける基準

すでにM4 32GBを持っているなら、メモリ容量だけを理由にM6へ買い替えることはできません。同じモデル・量子化・入力長で、プリフィルと長い回答の生成をそれぞれ比較してください。新規購入なら、まずM6 24GBで必要な作業ができるか確認し、27Bモデルと他のアプリを併用して空き容量が足りない場合にだけ32GBオプションを検討しましょう。待ち時間が主な問題ならM4 Pro 48GBも比較対象です。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

M6 32GB Mac miniで実行可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Qwen3.8 27B, K2 Horizon MoVA 36B-A4Bなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

Mac mini M6 32GBのローカルLLMの電力消費はどのくらいですか？

継続的な負荷基準では約55Wで、実際の範囲は35–80Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

114GB

メモリ帯域

546GB/s

ローカルLLM持続負荷の推定

約130W

韓国の参考価格（ウォン）

780–888万ウォン

向いている人

• 70Bクラス Q4
• 複数モデルの同時保管
• 大規模ユニファイドメモリ

購入前に確認

メモリは十分ですが、CUDA専用ツールが必要な作業には別途確認が必要です。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

大規模モデルのロードには強く、CUDA専用カーネルおよびマルチGPU拡張性が必要な作業については選択肢が減少します。

おすすめ購入構成

M4 Max · ユニファイドメモリ 128GB · SSD 1TB以上

より多くのお金をかける基準

70Bクラスのモデルを1台に収める場合に検討すべきです。35B未満を使用する場合はM4 Pro 48GBが経済的です。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

Studio M4 Max 128GBでどのようなローカルLLMを実行できますか？

K2 Horizon 0.9B, Qwen3.8-Flash-Nextなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

Studio M4 Max 128GBのローカルLLMにおけるパワーリソースはどのくらいですか？

継続的な負荷基準では約130Wで、実際の範囲は95–165Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

22.5GB

メモリ帯域

936GB/s

ローカルLLM持続負荷の推定

約420W

韓国の参考価格（ウォン）

239〜239万ウォン

向いている人

• 既存のPCでVRAM 24GBを確保
• 24GBに収まるQ4
• ComfyUI画像生成

購入前に確認

負荷をかけたときの状態も、不具合があった場合の返品条件も確認できない中古カードは避けてください。一度画面が映るのを見ただけでは十分ではありません。購入前に、そのメーカーの製品の長さ・厚さ・電源端子が自分のPCに合うかも確認しましょう。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

70Bの4ビット重みだけでも単純計算で約35GBあり、メタデータと文脈キャッシュが加わります。単体24GBへの全量常駐とオフロードを混同しないでください。RAM退避で動いても、全量常駐の速度は保証されません。

おすすめ購入構成

RTX 3090 24GB単体・比較条件のシステムRAMは64GB・電源、ケースへの収まり、保証はメーカーの製品別に確認

より多くのお金をかける基準

同じ24GBのRTX 4090は速度比較の相手で、容量不足の自動解決策ではありません。32GBへ移る際も目的が収まるかを確認。16GBで終わる作業なら、電力・保証・本体費込みで小型の新品構成とも比べられます。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

24GBのRTX 3090で実行可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Qwen3.8 27B, Qwen3.8-Flash-Nextなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

ローカルLLMの電力消費は、RTX 3090 24GBでどのくらいになりますか？

継続的な負荷基準では約420Wで、実際の範囲は330–540Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

22.5GB

メモリ帯域

1008GB/s

ローカルLLM持続負荷の推定

約470W

韓国の参考価格（ウォン）

325〜400万ウォン

向いている人

• 高速12B~27B推論
• ComfyUI画像生成
• CUDA開発環境

購入前に確認

24GBを超過するモデルは、速さが速くても読み込みが不可能であり、5090に近い中古価格をつけると魅力が減少します。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

演算性能よりも24GB VRAMの制限が先に達します。

おすすめ購入構成

RTX 4090 24GB · システムRAM 64GB · 1000Wクラスパワーアダプタ · 4スロット余裕

より多くのお金をかける基準

5090よりも価格差が十分に大きく、24GBであれば十分です。32GBが必要な場合はすぐに5090を検討してください。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

RTX 4090 24GBでどのようなローカルLLMを実行できますか？

K2 Horizon 0.9B, Qwen3.8 27B, Qwen3.8-Flash-Nextなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

ローカルLLMの電力消費は、RTX 4090 24GBでどのくらいになりますか？

継続的な負荷基準では約470Wで、実際の範囲は350～600Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

30.5GB

メモリ帯域

1792GB/s

ローカルLLM持続負荷の推定

約620W

韓国の参考価格（ウォン）

899〜929万ウォン

向いている人

• 27B～35B Q4を繰り返し実行
• 32GBに収まる画像・動画作業
• Blackwell対応を確認したツール

購入前に確認

現在使っているツールのBlackwell対応を確認できていないなら、先にカードを交換するのは避けてください。ドライバー、PyTorch、ランタイムの組み合わせが合う必要があります。メーカーの製品ごとに長さ・厚さ・電源要件も異なるため、既存のケースや電源で使えるかは別途確認してください。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

32GBを超えるモデルとキャッシュをRAMへ移すと、作業の条件が変わります。動画生成もモデル名だけでは判断できません。解像度・フレーム数・オフロード設定をそろえて比較する必要があります。

おすすめ購入構成

RTX 5090 32GBカード単体 · 比較条件はシステムRAM 64GB · 電源・端子・取り付けスペースはカードメーカーの要件を確認

より多くのお金をかける基準

今の24GBカードで必要な作業が終わり、待ち時間にも不満がなければ、交換を急ぐ理由はありません。繰り返し作業で短縮できる時間と32GBが必要な理由がはっきりしてから、GPU以外の部品費も加えて判断してください。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

RTX 5090 32GBでどのようなローカルLLMを実行できますか？

K2 Horizon 0.9B, Qwen3.6 35B-A3B (MoE), Qwen3.8-Flash-Nextなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

ローカルLLMの電力消費は、RTX 5090 32GBでどのくらいになりますか？

継続的な負荷基準では約620Wで、実際の範囲は480–760Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

96GB

メモリ帯域

256GB/s

ローカルLLM持続負荷の推定

約125W

韓国の参考価格（ウォン）

538〜562万ウォン

向いている人

• 大規模モデルのロード
• Windows・Linuxの選択
• 128GBクラスの高価格対応

購入前に確認

メモリが十分に確保されていても、ランタイムやGPUアクセラレーションによって実際の速度差が大きいため、モデルごとの互換性をまず確認すべきです。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

ハードウェアの容量よりも、ランタイムごとのGPUアクセラレーションサポートおよびカーネルの完成度が実際の使用性を左右します。

おすすめ購入構成

Ryzen AI Max+ 395 · システムメモリ 128GB · NVMe 2TB 推奨

より多くのお金をかける基準

設定を許容して大規模モデルを安価に導入したい場合は有利です。すぐに安定したツールを求める場合は、MacまたはNVIDIA完製機が優れています。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

Ryzen AI Max+ 395 128GBで利用可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Qwen3.8-Flash-Nextなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

Ryzen AI Max+ 395 128GBのローカルLLMの電力はどのくらいですか？

継続的な負荷基準では約125Wで、実際の範囲は80–170Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

236GB

メモリ帯域

1200GB/s

ローカルLLM持続負荷の推定

約300W

韓国の参考価格（ウォン）

1,850–2,000万ウォン

向いている人

• 長いコンテキストを使うローカルエージェント
• Flash-Next 4・5ビットの常時サービング
• 複数リクエストを1台で並列処理

購入前に確認

32GBに収まるモデルの短いリクエストでは、RTX 5090の方が速い場合があります。CUDA専用ツールもそのままは使えません。256GBの実測環境では、Flash-Nextの6・8ビットはPLE埋め込みテーブルをSSDに置く必要があったため、高精度モデル全体をメモリに載せたい場合は512GB構成を待つ必要があります。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

単一リクエストの生成速度は主にメモリ帯域幅、最初のトークンまでの時間はGPU演算とプロンプト長の影響を受けます。3件を同時実行すると合計処理量は増えますが、各リクエストは遅くなります。

おすすめ購入構成

M5 Ultra・36コアCPU・80コアGPU・256GBユニファイドメモリ・モデル保存用SSDは2TB以上を推奨

より多くのお金をかける基準

公開記録では、Flash-Next oQ4eは実行中に約155GB、oQ5eは約179GBを使用しており、256GB内で運用できます。oQ6e・oQ8eまでRAMに収める、または複数の大規模モデルを同時常駐させる予定がなければ、512GBの追加費用より先に256GBの実際の待ち時間と同時処理量を確認する方が合理的です。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

Studio M5 Ultra 256GBで利用可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Qwen3.8-Flash-Next, GLM-5.3-Flash (MoE)などを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

Studio M5 Ultra 256GBのローカルLLMの電力はどのくらいですか？

継続的な負荷基準では約300Wで、実際の範囲は220–430Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

480GB

メモリ帯域

1200GB/s

ローカルLLM持続負荷の推定

約330W

韓国の参考価格（ウォン）

3,805〜3,890万ウォン

向いている人

• 256GBに収まらないモデルファイルと入力キャッシュ
• 長いコンテキストと複数作業の同時実行
• Mac 1台で使える大容量ユニファイドメモリ

購入前に確認

512GBは256GBより1,955万ウォン高いです。同じモデルが256GBに余裕をもって収まるなら、その費用で生成速度が上がるわけではありません。予算が決まっているなら256GBか128GBから計算してください。CUDA専用のツールや拡張機能が必要な作業は、ユニファイドメモリを増やしても制約は残ります。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

512GBは統合メモリの総量です。macOS、開いているアプリ、モデルの重み、KVキャッシュがこの領域を共有します。ここに表示する480GBは計算上の余裕値で、Appleが保証する値ではありません。同じモデルが256GBにも余裕をもって入るなら、512GBにしても生成速度が比例して上がるわけではありません。

おすすめ購入構成

M5 Ultra · 36コアCPU · 80コアGPU · ユニファイドメモリ512GB · 1TB SSD ₩38,050,000（2TB ₩38,900,000）

より多くのお金をかける基準

Flash-Next oQ4eは実行中に約155GB、oQ5eは約179GBを使った公開記録があり、256GBでも動きます。512GBを選ぶ理由がはっきりするのは、6・8ビットをSSDオフロードなしで使う場合や、複数の大型モデルと長いキャッシュを同時に載せるときです。1TB SSD時で512GBは3,805万ウォン、256GBは1,850万ウォンなので、1,955万ウォンの差がその作業に見合うかで判断しましょう。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

M5 Ultra 512GBは256GB構成の2倍速いですか？

いいえ。同じ36コアCPU、80コアGPU、1.2TB/sのメモリ帯域を使う構成なら、512GBの主な利点は搭載容量です。256GB構成でメモリ不足やオフロードが発生する作業に限って、体感差が大きくなる可能性があります。

Studio M5 Ultra 512GBで利用可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Qwen3.8-Flash-Next, GLM-5.3-Flash (MoE)などを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

Studio M5 Ultra 512GBのローカルLLMの電力はどのくらいですか？

継続的な負荷基準では約330Wで、実際の範囲は240–460Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

480GB

メモリ帯域

819GB/s

ローカルLLM持続負荷の推定

約230W

韓国の参考価格（ウォン）

2,400–2,600万ウォン

向いている人

• 256GBに収まらないモデルとキャッシュの組み合わせ
• 1台に複数の大型モデルを読み込む
• macOS・MLXでの大容量メモリを使う作業

購入前に確認

CUDA専用のサービングツールが必須なら、512GBのユニファイドメモリでも互換性の問題は解決しません。Apple認定整備済製品の512GBモデルは、価格が表示されていても注文できるとは限りません。購入前に在庫、SSD容量、保証、80コアGPU構成かどうかを確認してください。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

512GBはmacOS、モデル、入力キャッシュが共有するユニファイドメモリの総容量です。このサイトの使用可能メモリ480GBは計算上の余裕を見込んだ値で、Appleが保証するGPU専用領域ではありません。小さい構成にもモデルが十分収まるなら、容量だけを増やしても生成速度が比例して上がるわけではありません。

おすすめ購入構成

M3 Ultra・32コアCPU・80コアGPU・512GBユニファイドメモリ・2TB以上のSSD・実際の在庫を確認

より多くのお金をかける基準

Qwen3.8-Flash-Next Q4を1つ動かす用途なら、まず128GBまたは256GB機のメモリの余裕と待ち時間を確認してください。実際の配布ファイルとキャッシュの合計が256GB構成に収まらない場合に、512GBの費用を検討する理由が生まれます。M3 Ultraの整備済製品に価格が表示されていても、在庫切れならその価格では購入できません。新しいM5 Ultra 512GBは1TB SSD時で3,805万ウォンです。整備済製品のM3 Ultra 512GBと保存容量を揃えて総額を比較してください。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

Studio M3 Ultra 512GBで利用可能なローカルLLMはどのようなものがありますか？

K2 Horizon 0.9B, Qwen3.8-Flash-Next, DeepSeek-V4.1-Flashなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

Studio M3 Ultra 512GBのローカルLLMの電力はどのくらいですか？

継続的な負荷基準では約230Wで、実際の範囲は180–270Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

主要仕様

使用可能メモリー

116GB

メモリ帯域

273GB/s

ローカルLLM持続負荷の推定

約190W

韓国の参考価格（ウォン）

952〜1,030万ウォン

向いている人

• 32GBを超えるモデルを載せる
• CUDA・ARM64でのサービング開発
• 複数GPUを使わず1台で運用

購入前に確認

必要なツールがx86専用で、ARM64で実行する方法がないなら、先にSparkを購入するのは避けてください。DGX OSで使うコンテナや拡張モジュールを確認する必要があります。2台もケーブルでつなぐだけではメモリが一体になるわけではなく、モデルを分割して実行する設定が必要です。

どのタスクに適するか

基準：構成選択の基準

最初に衝突するボトルネック

128GBはCPUとGPUが共有するメモリの総容量です。OSや入力キャッシュの領域も必要で、容量が大きくてもモデルを読む帯域幅までGeForceと同じになるわけではありません。単一リクエストの速度と、同時に処理するリクエスト数を分けて比較してください。

おすすめ購入構成

GB10・ユニファイドメモリ128GB・完成品1台・SSD容量と保証は販売構成ごとに確認

より多くのお金をかける基準

27Bクラスのチャットを1つ動かすことが目的なら、まず既存のPCや単体GPUで確認してください。大きなメモリは必要でもCUDAが必須でなければ、Ryzen AI Max+ 395 128GBも比較対象です。Sparkを2台にするのは、1台では足りない容量や処理量を確認してから検討しましょう。

4Kコンテキスト・Q4モデル別予想パフォーマンス

単一ユーザーでの予想範囲であり、ランタイムや冷却、量子化ファイルによって異なる可能性があります。

よくある質問

DGX Spark 128GBでどのようなローカルLLMを実行できますか？

K2 Horizon 0.9B, Qwen3.8-Flash-Next, DeepSeek-V4.1-Flashなどを4K入力とハードウェア別の推奨フォーマットで比較できます。必要なメモリはモデルとコンテキスト長によって変わります。

DGX Spark 128GB のローカル LLM パワーアップはどのくらいですか？

継続的な負荷基準では約190Wで、実際の範囲は160–233Wと予想されます。

表示されたトークン速度は実測値ですか？

収集した実測ベンチマークを同じ条件にそろえた範囲です。同条件の実測がない組み合わせだけを近い実測値から推定します。結果はランタイム、冷却、モデルファイル、コンテキスト長で変わることがあります。

モデル仕様

TERNARY_PQ2 推定メモリ

約9GB

総パラメータ

27.36B

活性パラメータ

27.36B

ネイティブコンテキスト

262,144 トークン

Qwen3.8-27Bから派生した3値重みモデルです。PQ2_0言語重みは7.21GBで、通常のllama.cppではなくHadamard変換対応ランタイムが必要です。速度体験ではPrismML公開のPQ2_0測定値を優先します。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 16GB — 利用可能: 13GB, 120GB/s · 速度を体感 · 価格・電力・販売構成

モデル仕様

Q2_Kモデルファイル

264.5GB・mmapページング

総パラメータ

552B

活性パラメータ

16B

ネイティブコンテキスト

1,048,576 トークン

552Bバックボーンと独立したEngramテーブルを使用するMoEモデルです。Spark、RTX 5090、大容量メモリ搭載Macでの公開実行事例を機器・形式別に区別し、SSDストリーミングと専用ランタイムを必要とする実験的経路も含みます。

代表設備

• DGX Spark 128GB — 利用可能 116GB、273GB/s · 速度を体感 · 価格・電力・販売構成
• Studio M3 Ultra 512GB — 480GBが利用可能、819GB/s 速度を体感 · 価格・電力・販売構成

モデル仕様

MXFP4の推定メモリ

約71GB

総パラメータ

124.848460496B

活性パラメータ

5.1B

ネイティブコンテキスト

131,072 トークン

総約124.85B・有効約5.1Bの画像・動画入力MoEモデルです。標準文脈は128Kです。DGX Sparkの公式INT4・MXFP4測定のみを速度基準に使い、他の機材には適用しません。

代表設備

• DGX Spark 128GB — 利用可能 116GB、273GB/s · 速度を体感 · 価格・電力・販売構成

モデル仕様

Q4_K_Mの推定メモリ

約3GB

総パラメータ

2.51675648B

活性パラメータ

2.51675648B

ネイティブコンテキスト

131,072 トークン

2.51675648Bパラメータの密モデルで、131,072トークンのネイティブコンテキストに対応します。表示するメモリと生成速度は量子化・ハードウェア仕様に基づく推定であり、実測値ではありません。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 16GB — 利用可能: 13GB, 120GB/s · 速度を体感 · 価格・電力・販売構成

デバイス別速度チューニング

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値を一括で確認できます。

MiniCPM5-2B Q4_K_Mをローカルで動かす安全な始め方

このモデルのプリフィル・トークン生成速度の確認

モデル仕様

Q4_K_Mの推定メモリ

約18GB

総パラメータ

27B

活性パラメータ

27B

ネイティブコンテキスト

262,144 トークン

27B密度型オープン重みモデルで、多段階MTP（複数トークン予測）学習ヘッドが内蔵されています。ネイティブ262,144（256K）トークンコンテキストをサポートしています。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 24GB — 20GBが利用可能、120GB/s 速度を体感 · 価格・電力・販売構成

デバイス別速度チューニング

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値を一括で確認できます。

Qwen3.8-27Bをハードウェア別に実行：MacはoMLX、RTXはllama.cpp

このモデルのプリフィル・トークン生成速度の確認

モデル仕様

Q4_K_Mの推定メモリ

約108GB

総パラメータ

125B

活性パラメータ

6B

ネイティブコンテキスト

262,144 トークン

約180Bの在住重みを持つMoEモデルで、125BコアLM（6Bアクティブ）およびアーキテクチャ内蔵の51B n-gram/PLEインベーディングおよび4B MTPで構成されています。内蔵された51B PLEインベーディングテーブルはRAMオフロードが可能であり、プロンプト内の繰り返し文脈を検出するプロンプトリクエスト検索（Prompt Lookup）と投機的デコーディングとは別に機能します。

代表設備

• MBP M3 Max 128GB — 利用可能: 114GB, 400GB/s · 速度を体感 · 価格・電力・販売構成
• RTX PRO 6000 96GB — 利用可能: 93GB, 1792GB/s 速度を体感 · 価格・電力・販売構成

デバイス別速度チューニング

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値を一括で確認できます。

Qwen3.8 Flash-NextをDGX Sparkで動かす：SGLang・PLE・MTPレシピ

このモデルのプリフィル・トークン生成速度の確認

モデル仕様

Q4_K_Mの推定メモリ

約8GB

総パラメータ

11.95B

活性パラメータ

11.95B

ネイティブコンテキスト

262,144 トークン

11.95Bパラメータの密度型単一モデルで256K(262,144)のネイティブコンテキストをサポートします。16GB〜24GBのGPUおよびMac環境で高速単独運転が可能です。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 16GB — 利用可能: 13GB, 120GB/s · 速度を体感 · 価格・電力・販売構成

デバイス別速度チューニング

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値を一括で確認できます。

Gemma 4 12Bの実行設定：デスクトップのQ4とサーバーのBF16

このモデルのプリフィル・トークン生成速度の確認

モデル仕様

Q4_K_Mの推定メモリ

約16GB

総パラメータ

25.2B

活性パラメータ

3.8B

ネイティブコンテキスト

262,144 トークン

25.2Bパラメータ中のMoEモデルで、トークンごとに3.8Bが活性化されます。256K(262,144)のネイティブコンテキストをサポートし、ロード対比で高速なデコードを提供します。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 16GB — 利用可能: 13GB, 120GB/s · 速度を体感 · 価格・電力・販売構成

デバイス別速度チューニング

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値を一括で確認できます。

Gemma 4 26B-A4B MTP：単一リクエストと複数リクエストで変わる速度

このモデルのプリフィル・トークン生成速度の確認

モデル仕様

Q4_K_Mの推定メモリ

約22GB

総パラメータ

35B

活性パラメータ

3B

ネイティブコンテキスト

262,144 トークン

35Bパラメータ中のMoEモデルは、トークンごとに約3Bが活性化されます。メモリロードには35Bの容量が必要であり、デコード帯域幅は3Bの活性パラメータに基づいて消費されます。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 24GB — 20GBが利用可能、120GB/s 速度を体感 · 価格・電力・販売構成

デバイス別速度チューニング

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値を一括で確認できます。

Qwen3.6 35B-A3Bの実行設定：Mac・RTX・DGX SparkのNVFP4

このモデルのプリフィル・トークン生成速度の確認

モデル仕様

Q4_K_Mの推定メモリ

約191GB

総パラメータ

320B

活性パラメータ

18B

ネイティブコンテキスト

1,048,576 トークン

ハイブリッド稀疏+線形アテンション MoEモデルで、合計320Bパラメータ（18Bアクティブ）です。公式1,048,576（1M）トークンコンテキスト（text_config.max_position_embeddings）をサポートし、256GB以上の大容量メモリ環境に収容されます。

代表設備

• 2× A40 96GB (NVLink) — 利用可能 92GB、1392GB/s · 速度を体感 · 価格・電力・販売構成
• Studio M3 Ultra 512GB — 480GBが利用可能、819GB/s 速度を体感 · 価格・電力・販売構成

デバイス別速度チューニング

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値を一括で確認できます。

GLM-5.3-Flashサービングガイド：320Bサーバー規模MoEレシピ

このモデルのプリフィル・トークン生成速度の確認

モデル仕様

Q4_K_Mの推定メモリ

約181GB

総パラメータ

304B

活性パラメータ

13B

ネイティブコンテキスト

1,048,576 トークン

304Bパラメータ(13B活性)の大規模MoEモデルで、公式では1,048,576(1M)トークンコンテキスト(max_position_embeddings)をサポートしています。公式の例では4×GB300ノードを使用し、コミュニティ版の圧縮版はアーテファクトごとの実際サイズおよびランタイムの互換性を別途確認する必要があります。

代表設備

• 2× A40 96GB (NVLink) — 利用可能 92GB、1392GB/s · 速度を体感 · 価格・電力・販売構成
• Studio M5 Ultra 256GB — 236GBが利用可能、1200GB/s 速度を体感 · 価格・電力・販売構成
• Studio M3 Ultra 512GB — 480GBが利用可能、819GB/s 速度を体感 · 価格・電力・販売構成

デバイス別速度チューニング

デバイスを選択すると、量子化、安全なコンテキスト、GPU オフロード、Flash Attention、KVキャッシュおよびバッチ開始値を一括で確認できます。

DeepSeek-V4-Flash：304Bモデルの分散実行設定

このモデルのプリフィル・トークン生成速度の確認

モデル仕様

Q4_K_Mの推定メモリ

約18GB

総パラメータ

27B

活性パラメータ

27B

ネイティブコンテキスト

262,144 トークン

Web・デスクトップ・モバイル画面操作とコード・ツール呼び出しを一緒に扱う27B密集型コンピュータ使用モデルです。モデルだけでオートメーションが完成するわけではなく、スクリーンキャプチャ、入力ツール、承認境界を持つランチャーが必要です。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 24GB — 20GBが利用可能、120GB/s 速度を体感 · 価格・電力・販売構成

モデル仕様

Q4_K_Mの推定メモリ

約22GB

総パラメータ

35B

活性パラメータ

3B

ネイティブコンテキスト

262,144 トークン

35B全体の中で、トークンあたり約3Bを有効にするコンピュータ使用MoEモデルです。アクティブパラメータは計算量を説明し、ローカル積載には全体の重みとビジョン・KVキャッシュ余裕が必要です。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 24GB — 20GBが利用可能、120GB/s 速度を体感 · 価格・電力・販売構成

モデル仕様

Q4_K_Mの推定メモリ

約3GB

総パラメータ

3B

活性パラメータ

3B

ネイティブコンテキスト

32,768トークン

OCR・文書レイアウト・画像説明のように短い単一要求を迅速に処理するように設計された約3Bビジョン言語モデルです。別のDSparkドラフトモデルを書くと、サポート機器でデコードが高速になります。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 16GB — 利用可能: 13GB, 120GB/s · 速度を体感 · 価格・電力・販売構成

モデル仕様

Q4_K_Mの推定メモリ

約2GB

総パラメータ

0.9B

活性パラメータ

0.9B

ネイティブコンテキスト

131,072 トークン

K2 Horizonファミリーの最小の密集モデルです。軽い分類、要約、ローカルオートメーションの最初の候補であり、長いコンテキスト制限と実際の機器で維持するコンテキスト長は区別する必要があります。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 16GB — 利用可能: 13GB, 120GB/s · 速度を体感 · 価格・電力・販売構成

モデル仕様

Q4_K_Mの推定メモリ

約3GB

総パラメータ

3.7B

活性パラメータ

3.7B

ネイティブコンテキスト

524,288 トークン

512Kネイティブコンテキストを提供する小型密集モデルです。小さなメモリでも起動が簡単ですが、長い入力はKVキャッシュとプリフィル時間が大きくなるため、短い基準値から増やす必要があります。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 16GB — 利用可能: 13GB, 120GB/s · 速度を体感 · 価格・電力・販売構成

モデル仕様

Q4_K_Mの推定メモリ

約6GB

総パラメータ

7B

活性パラメータ

7B

ネイティブコンテキスト

524,288 トークン

品質とローカル実行負担の中間に置かれた7B密集モデルです。公式の512Kコンテキストをサポートしますが、デスクトップでは、作業に必要な長さに制限する方が応答性とメモリ管理に有利です。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 16GB — 利用可能: 13GB, 120GB/s · 速度を体感 · 価格・電力・販売構成

モデル仕様

Q4_K_Mの推定メモリ

約21GB

総パラメータ

32B

活性パラメータ

32B

ネイティブコンテキスト

524,288 トークン

K2 Horizonの32B密集モデルです。 24GB級の機器ではQ4と短いコンテキストから確認し、長い入力と同時要求を書くには32GB以上のメモリー空きを一緒に見なければなりません。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 24GB — 20GBが利用可能、120GB/s 速度を体感 · 価格・電力・販売構成

モデル仕様

Q4_K_Mの推定メモリ

約22GB

総パラメータ

36B

活性パラメータ

4B

ネイティブコンテキスト

524,288 トークン

全36Bのうち、トークン当たり約4Bを活性化するMoVA構造のMoEモデル。デコード計算は軽いですが、全体の重みはメモリにアクセスできる必要があり、公式サーバーの例はマルチGPUパスです。

代表設備

• RTX 5060 8GB — 利用可能 7.25GB、448GB/s · 速度を体感 · 価格・電力・販売構成
• 2×RTX5090 64GB（PCIe）— 使用可能61GB、3584GB/s・ 速度を体感 · 価格・電力・販売構成
• MBA M4 24GB — 20GBが利用可能、120GB/s 速度を体感 · 価格・電力・販売構成

主要の違い

用途別推奨

価格差の判断

Mac mini M4 Pro 64GBは完成品PC、RTX 5090 32GBはGPU単体の価格です。GPU単品については本体費用を加えた上で比較すべきです。

各デバイスの詳細

• Mac mini M4 Pro 64GB ローカルLLMの速度・メモリ・電気代
• RTX 5090 32GB でのローカルLLM・画像・動画生成パフォーマンス

主要の違い

用途別推奨

価格差の判断

中間価格ベースでMac mini M4 32GBのほうが約94万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• マックミニ M4 32GB でのローカルLLM 27Bの動作性能
• マックミニ M4 Pro 48GB ローカルLLM 27B·35Bパフォーマンス

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRTX 3090 24GBのほうが約675万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• RTX 3090 24GBのローカルAI：継続利用か中古購入か
• RTX 5090 32GB でのローカルLLM・画像・動画生成パフォーマンス

主要の違い

用途別推奨

価格差の判断

2× RTX 3090 48GB (NVLink)はGPU 2台、RTX 5090 32GBはGPU単体の価格です。GPU単品については本体費用を加えた上で比較すべきです。

各デバイスの詳細

• 2× NVIDIA GeForce RTX 3090 NVLink 48GB ローカル LLM 速度・メモリ・電気代
• RTX 5090 32GB でのローカルLLM・画像・動画生成パフォーマンス

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRTX 4090 24GBのほうが約551万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• RTX 4090 24GB でのローカルLLMおよび画像生成パフォーマンス
• RTX 5090 32GB でのローカルLLM・画像・動画生成パフォーマンス

主要の違い

用途別推奨

価格差の判断

中間価格ベースでStudio M4 Max 128GBのほうが約157万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• NVIDIA DGX Spark 128GB ローカル LLM選定基準
• マック スチュディオ M4 Max 128GB ローカル LLM 大規模モデルパフォーマンス

主要の違い

用途別推奨

価格差の判断

中間価格ベースでDGX Spark 128GBのほうが約991万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• NVIDIA DGX Spark 128GB ローカル LLM選定基準
• NVIDIA DGX Spark 2台構成 256GB ローカル LLM 速度・メモリ・電気代

主要の違い

用途別推奨

価格差の判断

2× DGX Spark 256GBは完成品PC、2× RTX 5090 64GB (PCIe)はGPU 2台の価格です。GPU単品については本体費用を加えた上で比較すべきです。

各デバイスの詳細

• NVIDIA DGX Spark 2台構成 256GB ローカル LLM 速度・メモリ・電気代
• 2× NVIDIA GeForce RTX 5090 PCIe 64GB ローカル LLM 速度・メモリ・電気代

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRyzen AI Max+ 395 128GBのほうが約284万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• Ryzen AI Max+ 395 128GB ローカル LLM 費用対効率
• マック スチュディオ M4 Max 128GB ローカル LLM 大規模モデルパフォーマンス

主要の違い

用途別推奨

価格差の判断

NVIDIA A40 48GBはGPU単体、2× RTX 3090 48GB (NVLink)はGPU 2台の価格です。GPU単品については本体費用を加えた上で比較すべきです。

各デバイスの詳細

• NVIDIA A40 48GB ローカル LLM 速度・メモリ・電気代
• 2× NVIDIA GeForce RTX 3090 NVLink 48GB ローカル LLM 速度・メモリ・電気代

主要の違い

用途別推奨

価格差の判断

DGX Spark 128GBは完成品PC、RTX 5090 32GBはGPU単体の価格です。GPU単品については本体費用を加えた上で比較すべきです。

各デバイスの詳細

• NVIDIA DGX Spark 128GB ローカル LLM選定基準
• RTX 5090 32GB でのローカルLLM・画像・動画生成パフォーマンス

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRTX 5090 32GBのほうが約1,685万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• NVIDIA RTX PRO 6000 Blackwell 96GB ローカル LLM 速度・メモリ・電気代
• RTX 5090 32GB でのローカルLLM・画像・動画生成パフォーマンス

96GBが必要な作業を決める

小さな量子化ファイルで動くQwen3.8-27Bと、数十GBを超える重みを使うモデルでは購入基準が変わります。選んだファイルとKVキャッシュが5090の1枚に収まらないとき、PRO 6000を選ぶ理由が明確になります。モデルを切り替えて搭載可否を確かめ、両方に収まるモデルの初回応答と生成速度を比べましょう。

高速な設定に合うモデルファイルを用意する

どちらもBlackwellベースですが、実行エンジンとモデル形式によって使う経路が変わります。比較画面で実際に選ばれたStrata・NVFP4・MTPなどの設定を確認し、対応するファイルを用意しましょう。同じモデル名のGGUFを別のエンジンに入れるより、エンジンの実行ガイドに沿う方がスムーズです。

追加費用を大きなモデルの用途と比べる

PRO 6000の価格差を払う前に、何が新しくできるかを書き出しましょう。長い報告書の一括処理、大きなモデルの常駐、複数リクエストの処理が候補です。5090で必要な回答を得られているなら、交換の前に入力長と実行設定の調整効果を比べてもよいでしょう。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRTX 5080 16GBのほうが約679万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• NVIDIA GeForce RTX 5080 16GB ローカル LLM 速度・メモリ・電気代
• RTX 5090 32GB でのローカルLLM・画像・動画生成パフォーマンス

16GBを超えると実行方法が変わる

5080でメモリ不足になるなら、小さい量子化やシステムRAMへのオフロードが選択肢になります。ファイルだけでなくCPUとRAMも検討する必要があります。同じファイルが5090のVRAMに収まるか確認し、価格差でオフロードをどれだけ減らせるか考えましょう。

小さいモデルと大きいモデルを分けて比べる

まず両方で動くモデルで短い回答の生成速度を比べます。次に本来使いたい大きなモデルへ切り替え、搭載方法と初回応答を確認しましょう。最後に入力長を増やし、ロード後の会話用メモリを確かめます。速度と容量、どちらのための交換かが明確になります。

グラフィックカード以外の費用も加える

カード交換でも電源容量・ケーブル・ケース内の空間を確認します。RAM増設も予定しているなら、その費用を含めましょう。下のカード単体価格と完成PCの費用を分け、長時間使う場合は継続負荷時の電力も比べてください。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRTX 5070 Ti 16GBのほうが約53万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• NVIDIA GeForce RTX 5070 Ti 16GB ローカル LLM 速度・メモリ・電気代
• NVIDIA GeForce RTX 5080 16GB ローカル LLM 速度・メモリ・電気代

16GBで使うモデルを先に選ぶ

5070 TiでモデルとKVキャッシュが収まらないなら、5080へ替えても総VRAMは変わりません。小さい量子化か文脈長の調整が必要です。余裕を持って収まるなら、プリフィルと生成速度を比較しましょう。モデルを先に決めれば、上位カードという理由だけの出費を減らせます。

最初の応答と回答完了を分けて比べる

文書要約には長い入力を使う全体モード、短い指示から長いコードを作る場合には生成モードが適しています。普段の作業長で5080が待ち時間をどれだけ減らすか確認し、現在の価格帯と照らし合わせましょう。

5070 Tiを持っているなら設定から試す

5070 Tiを持っているなら、画面の推奨エンジンと量子化ファイルを先に合わせましょう。古い設定を使い続けると、同じGPUでも新エンジンの改善を生かせません。調整後も繰り返し作業の待ち時間が長ければ、5080や大容量カードと比較しても遅くありません。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRTX 5070 12GBのほうが約60万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• NVIDIA GeForce RTX 5070 12GB ローカル LLM 速度・メモリ・電気代
• NVIDIA GeForce RTX 5070 Ti 16GB ローカル LLM 速度・メモリ・電気代

追加4GBは会話の余裕にも使える

VRAMには重みと会話のKVキャッシュが入ります。12GBにぎりぎり収まるモデルは入力を長くするとメモリ不足になることがあります。同じモデルで入力長を段階的に増やし、16GBでモデルの選択肢が広がるのか、長い会話が可能になるのかを分けて確認しましょう。

強く圧縮した大きなモデルも同じ質問で試す

小さなファイルを選べば大きなモデルを動かせる場合もあります。容量だけで決めず、普段の質問に必要な条件やコードが回答に残るか確認しましょう。速く動く小さなモデルと、強く圧縮した大きなモデルを両方試すと、適した組み合わせを選びやすくなります。

次の交換計画も考える

大きなモデルへ移行し続ける予定なら、16GBで十分か、24GB以上へ進むかも比較しましょう。5070 Tiへの交換後すぐに容量不足になると、交換費用が二度かかります。今必要なモデルと近いうちに使いたいモデルをそれぞれ確認してください。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRTX 5060 Ti 16GBのほうが約19万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• NVIDIA GeForce RTX 5060 Ti 16GB ローカル LLM 速度・メモリ・電気代
• NVIDIA GeForce RTX 5070 12GB ローカル LLM 速度・メモリ・電気代

上位カードでもメモリは小さい場合がある

5070は帯域幅が高い一方、VRAMは12GBです。5060 Ti 16GBに収まるファイルが5070では一部オフロードを必要とする場合があります。その場合、演算性能より先にモデルの配置が効いてきます。必要なファイルを決め、両方の搭載表示を確認しましょう。

短い回答と長い文書をそれぞれ比べる

両方に収まる小さなモデルで会話するなら生成速度を比較します。長い文書には入力を増やし、KVキャッシュの余裕と初回トークン時間を確認しましょう。モデルと入力の組み合わせで選ぶ理由は変わるため、普段の二つの作業を別々に比べると判断しやすくなります。

16GB版の商品か確認する

5060 Tiには8GB版と16GB版があります。このページは16GB構成の比較です。販売ページではチップ名だけでなくVRAMの選択肢も確認してください。安く見える8GB商品では、この比較と搭載条件が変わります。

主要の違い

用途別推奨

価格差の判断

価格未確認の機器があるため、価格差の判定は保留します。

各デバイスの詳細

• NVIDIA GeForce RTX 4060 Ti 16GB ローカル LLM 速度・メモリ・電気代
• NVIDIA GeForce RTX 5060 Ti 16GB ローカル LLM 速度・メモリ・電気代

容量不足と遅い回答を分ける

4060 Tiでロードと会話完了ができるなら、遅い段階を特定しましょう。長い入力後の最初の文字が遅いならプリフィル、回答がゆっくり続くならデコードです。メモリ不足で停止する場合は、別の16GBカードでもファイルと入力長の調整が先になります。

新しいカードに合う実行エンジンも使う

5060 TiはBlackwell、4060 TiはAda世代です。交換後も旧ファイルとエンジンを使う場合と、推奨設定へ変える場合を分けて確認しましょう。比較画面は機器別の対応設定を選ぶため、実際の準備でもランタイムと量子化表示を基準にできます。

今のカードで十分なら交換を待ってもよい

たまに短い質問をするだけなら、新カードの価格に見合う利点は小さいかもしれません。コード生成や文書要約を繰り返すなら短縮時間が積み重なります。普段の入力・回答長で両方を実行し、待ち時間の差から交換を判断しましょう。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRTX 4080 SUPER 16GBのほうが約45万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• NVIDIA GeForce RTX 4080 SUPER 16GB ローカル LLM 速度・メモリ・電気代
• NVIDIA GeForce RTX 5080 16GB ローカル LLM 速度・メモリ・電気代

帯域幅の改善は自分の会話に役立つ？

1トークンずつ回答を作る過程では、重みを速く読む能力が重要です。帯域幅を確認して生成モードを実行しましょう。長い入力も頻繁に扱うなら全体モードも比較します。一つの数値だけでなく、両段階を見ると作業時間を判断しやすくなります。

Blackwell用と従来のファイルを分ける

5080の高速な量子化経路には、エンジンに合うファイルとパッケージが必要です。4080 SUPERのGGUF設定と新しい推奨設定では準備が異なる場合があります。旧カードも対応する最新経路へ合わせれば、ハード交換とソフト更新の効果を分けて判断できます。

16GBを超える作業は大容量の比較へ進む

文脈を短くしてもロードできない、または小さい量子化に変えないと動かないなら容量増加も比較しましょう。4080 SUPERから5080と5090への交換は解決する問題が異なります。下の関連比較から大容量VRAMを選べます。

主要の違い

用途別推奨

価格差の判断

価格未確認の機器があるため、価格差の判定は保留します。

各デバイスの詳細

• NVIDIA GeForce RTX 4070 Ti SUPER 16GB ローカル LLM 速度・メモリ・電気代
• NVIDIA GeForce RTX 5070 Ti 16GB ローカル LLM 速度・メモリ・電気代

同じモデル搭載範囲から始める

この比較ではチップ世代が変わっても総VRAMは増えません。ファイルと会話用メモリが16GBに収まる組み合わせから選びましょう。普段のモデルで短い質問を比べ、次に長い文書で初回応答の差を確認してください。

エンジン変更の準備時間も考える

新しい推奨経路が今のアプリと違う場合、別ファイルの取得やサーバーアドレスの変更が必要になることがあります。ランタイム表示とガイドでチャットアプリの接続方法を確認しましょう。普段の手順を保てれば、速度改善を実作業に生かしやすくなります。

新規購入と所有カードの交換を分ける

初めてPCを組むなら現在の価格と電源・冷却構成を比較します。4070 Ti SUPERを持っているなら、新カードの費用と短縮できる待ち時間を照らし合わせましょう。同じ性能差でも新規購入と交換では価値が変わります。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRTX 5080 16GBのほうが約4万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• RTX 3090 24GBのローカルAI：継続利用か中古購入か
• NVIDIA GeForce RTX 5080 16GB ローカル LLM 速度・メモリ・電気代

今のファイルをそのまま載せられる？

3090で使える27Bの量子化ファイルでも、5080では会話用の余裕が足りない場合があります。交換前に同じモデルと入力で搭載状態を比べましょう。小さい量子化へ変えるなら普段の質問の回答品質も確認します。容量が減っても同じ作業ができることが最初の基準です。

新エンジンと今のカード設定を確認する

5080の推奨設定を3090へそのまま使わず、カードに合う経路を選びます。3090のエンジン更新だけで待ち時間を減らせるかも先に確認しましょう。モデルを変えると両側のランタイムと搭載方法も変わるため、ファイル選択の参考になります。

24GBが必要なら維持・追加・交換を比べる

16GBで頻繁に不足するなら、3090の維持やGPU追加も選択肢です。モデル分割にはエンジンの対応とスロット・電源・冷却が必要です。1枚での交換なら32GBの5090とも比較しましょう。従来の作業を保ちながら速度を上げる経路を探せます。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRTX 5080 16GBのほうが約128万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• RTX 4090 24GB でのローカルLLMおよび画像生成パフォーマンス
• NVIDIA GeForce RTX 5080 16GB ローカル LLM 速度・メモリ・電気代

ファイルと文脈を一組で比べる

16GBへファイルを載せられても、長い入力の余裕が不足する場合があります。4090で使う文書長と会話回数を基準に比較しましょう。短い質問で速く見えても、文書作業でオフロードが増えると待ち時間が長くなることがあります。

新経路の利点は対応モデルで確認する

Blackwellを使うエンジンには、モデル形式とカーネルの対応が必要です。画面の推奨設定からモデルの実行ガイドへ進みましょう。既存CUDAツールを維持するなら、そのツールの対応ファイルでも比較すると交換後の手順を考えやすくなります。

交換で解決したい不便を一つ決める

4090の熱や騒音が問題なら、電力制限と冷却調整も先に試せます。大きなモデルが目的なら、5080より大容量の構成まで比較を広げましょう。同じモデルでの待ち時間なら推奨設定の生成速度で判断します。不便の原因を決めると候補を絞れます。

主要の違い

用途別推奨

価格差の判断

RTX 5090 32GBはGPU単体、2× RTX 5090 64GB (PCIe)はGPU 2台の価格です。GPU単品については本体費用を加えた上で比較すべきです。

各デバイスの詳細

• RTX 5090 32GB でのローカルLLM・画像・動画生成パフォーマンス
• 2× NVIDIA GeForce RTX 5090 PCIe 64GB ローカル LLM 速度・メモリ・電気代

モデルを分けるかリクエストを分担するか決める

大きなモデルを2枚へ分けると、計算中にGPU間でデータを交換します。各カードに小さいモデルを置けば、リクエストを別々に割り当てられます。前者は容量、後者は同時作業数が目的です。この単一回答の比較後、実サーバーで必要な同時数も試してください。

PCIeスロットとカード間の空間を先に確認する

5090を2枚入れるには、基板の実際のレーン配線、厚さと冷却空間の確認が重要です。2枚を支える電源とケーブルも必要です。2枚目の価格に部品交換費用を加え、全体の構築費用で比較しましょう。購入前に今の本体が対応できるか確認してください。

大きなファイルへ変えた後の待ち時間を確認する

2枚目の目的が大きなモデルなら、従来モデルの速度比較だけでは足りません。実際に使うモデルと文脈長で初回応答と完了を確認しましょう。必要な答えを得られることと、その待ち時間で作業を続けられることを合わせて判断します。

主要の違い

用途別推奨

価格差の判断

2× RTX 5090 64GB (PCIe)はGPU 2台、RTX PRO 6000 96GBはGPU単体の価格です。GPU単品については本体費用を加えた上で比較すべきです。

各デバイスの詳細

• 2× NVIDIA GeForce RTX 5090 PCIe 64GB ローカル LLM 速度・メモリ・電気代
• NVIDIA RTX PRO 6000 Blackwell 96GB ローカル LLM 速度・メモリ・電気代

96GBの1枚と32GBの2枚では準備が違う

PRO 6000は1枚に載せられるモデルの範囲が広いです。5090の2枚はモデル分割かリクエストの個別割り当てが必要です。1モデルの応答には分割エンジンとカード間接続を確認しましょう。複数利用者のサーバーなら各カードへの独立配置も候補です。

カード価格以外も予算に含める

5090の2枚にはカード代に加え、電源・ケース・基板の交換費用がかかる場合があります。PRO 6000にも適切な電源と冷却が必要です。下のカード価格と電力を基に、今のPCへ実際に追加する部品を含めて総費用を比較してください。

大きなモデルと日常のモデルを両方試す

大きなモデルを載せられても、普段の小さいモデルの待ち時間が長いと不便です。両方に収まるモデルと容量のため片方だけに収まるモデルを分けて比べます。PRO 6000の容量と5090の2枚の実行性能、どちらへ支払うかが明確になります。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでMac mini M4 Pro 48GBのほうが約213万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• マックミニ M4 Pro 48GB ローカルLLM 27B·35Bパフォーマンス
• Mac mini M4 Pro 64GB ローカルLLMの速度・メモリ・電気代

他のアプリ用メモリを残す

統合メモリはモデルだけでなくmacOS、ブラウザー、エディターも使います。モデルのロード後、文書や開発ツールを開いても余裕があるか確認しましょう。多くのアプリを使う場合、48GBと64GBの差は単独ベンチマークより実作業で重要になることがあります。

同じモデルを比べてからファイルを大きくする

先に同じモデルと入力で生成速度を比べます。その後、大きい量子化ファイルやモデルで搭載余裕を確認しましょう。同じ小さなモデルが倍速になると期待するより、使いたいファイルと文脈をどれだけ余裕を持って収容できるかを見てください。

後からメモリを増やせない点を考える

Macの統合メモリは購入構成で選びます。今は小さなモデルでも、近く大きなモデルを使う予定ならそのファイルで比較しましょう。計画なく最大容量を選ぶより、現在と次のモデルを二つ決めて価格差を判断するとよいでしょう。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでStudio M4 Max 64GBのほうが約325万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• Mac Studio M4 Max 64GB ローカル LLM 速度・メモリ・電気代
• マック スチュディオ M4 Max 128GB ローカル LLM 大規模モデルパフォーマンス

よく使うモデルをメモリに常駐させる？

切り替えのたびにロードを待つなら、回答速度だけでなく切り替え時間も重要です。大きな1モデルか複数の小さなモデルか、常駐方法を決めましょう。128GBはその使い方に余裕を残せます。oMLXの固定と自動解放設定も確認すれば、今の容量で減らせる待ち時間も探せます。

会話履歴が長くなる作業も試す

最初の短い質問では容量差が現れない場合があります。長い文書と追加質問でKVキャッシュも必要になる作業を比べましょう。他のアプリを開いたまま最後まで処理できるかを確認すると、実作業に必要なメモリを選べます。

同じチップで容量へ払う費用

この二つはM4 Maxのメモリ選択肢の比較です。同じモデルを大きく高速化したいなら、上位チップや他の機器の比較も開きましょう。必要な改善が容量か高速な計算かを決めてから、追加予算を配分してください。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでStudio M5 Max 128GBのほうが約939万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• Mac Studio M5 Max 128GB ローカル LLM スピード・メモリ・電気代
• Mac Studio M5 Ultra 256GB：ローカルLLM・エージェントの実測性能

大きなモデルの容量と小さなモデルの速度を分ける

Ultraを選ぶ理由は主に二つです。Maxに収まらないモデルを載せることと、両方に収まるモデルの待ち時間を短くすることです。普段のモデルを両方で動かし、次にMaxでメモリ不足になるモデルを選びましょう。容量と速度のどちらが必要か分かります。

oMLXとモデル形式を合わせて比較する

Macの推奨経路ではエンジン版とモデル別の加速設定が重要です。oMLX・量子化・MTP表示を確認して対応ファイルを用意しましょう。既存Maxのエンジンを更新してから比べれば、ハード交換が必要な待ち時間と設定で減る待ち時間を分けやすくなります。

価格差と繰り返し作業の待ち時間を比べる

日に数回の短い質問と、長いコードや報告書の連続処理では費用の判断が変わります。普段の入力長で初回応答と完了を比べ、改善が何度必要か考えましょう。今はメモリ不足でできない作業があるなら、それを始められる価値も含めます。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでStudio M5 Ultra 256GBのほうが約1,923万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• Mac Studio M5 Ultra 256GB：ローカルLLM・エージェントの実測性能
• Mac Studio M5 Ultra 512GB 価格3,805万ウォン、256GBと比較

512GBに何を同時に置くか決める

大きな1モデルか、コード・文書・埋め込みモデルを同時に常駐させるかで必要容量が変わります。各ファイルに作業領域とKVキャッシュを加えて予算を立てましょう。すべてではなく、よく使うモデルだけ固定する方法もあります。先に利用計画を決めると512GBの理由が明確になります。

同じモデルでは搭載範囲が主な違い

同じM5 Ultraの比較なので、メモリ量を速度倍率と捉えるより搭載範囲を確認します。同じモデルと入力で時間を比べ、次に大きいファイルが片方だけに収まるか見ましょう。そのファイルが実作業の回答品質を改善するかも別に確認してください。

モデルファイル用のストレージも用意する

大きなメモリを選んでも、ダウンロードと保存のSSD容量は別に必要です。複数量子化を試すと同じモデルのコピーが増えます。保持するファイル一覧、キャッシュ位置、不要コピーの整理方法を計画すると容量を効率よく使えます。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでStudio M3 Ultra 512GBのほうが約1,348万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• Mac Studio M3 Ultra 512GBとローカルLLM：256GBで足りるか
• Mac Studio M5 Ultra 512GB 価格3,805万ウォン、256GBと比較

今のMacの実行設定を先に更新する

M3 Ultraで旧エンジンを使っているなら、ハードを替えずに待ち時間を減らせる余地があります。推奨エンジン・量子化・加速設定を合わせてから比べましょう。新チップとソフト更新の効果を分けて判断できます。

長いプリフィルと長い回答を分けて試す

報告書をよく入力するなら長い入力の全体モードが重要です。コードや長い原稿を作るなら回答が続く速度を比較しましょう。どの段階を短縮すれば作業が途切れにくいか決め、費用と照らし合わせると交換理由が明確になります。

SSDのロードと推論の待ち時間を分ける

最初のロードと質問ごとの待ち時間では改善方法が違います。初回だけ遅いなら常駐と保存場所を確認し、同じ文書の繰り返しならキャッシュ設定を調べます。新MacのSSDとチップを比べる場合も、段階を分けて記録しましょう。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでStudio M5 Max 128GBのほうが約155万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• MacBook Pro M5 Max 128GB ローカル LLM 速度・メモリ・電気代
• Mac Studio M5 Max 128GB ローカル LLM スピード・メモリ・電気代

ノートPCで直接使うかサーバーへ接続するか決める

MacBook Proなら移動中にも直接モデルを実行できます。Mac Studioをサーバーにすると他の機器のアプリからリクエストを送れますが、接続と認証の準備が必要です。外でオフライン利用するか、自宅の複数機器から使うかが最初の基準です。

長時間の作業で冷却と電力を確認する

数回の短い質問と長時間の稼働では負担が違います。置き場所、室温、他の作業との同時使用も考えましょう。ここでは応答速度と継続負荷電力を比べ、長時間の音と温度は実際の構成で確認してください。

画面と入力機器の費用も含める

MacBook Proには画面とキーボードが含まれます。Mac Studioを新設するならモニター・キーボード・マウスが必要か確認しましょう。周辺機器を持つ人とゼロから揃える人では費用が違います。本体だけでなく実際の購入一覧を決めてください。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでDGX Spark 128GBのほうが約934万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• NVIDIA DGX Spark 128GB ローカル LLM選定基準
• Mac Studio M5 Ultra 256GB：ローカルLLM・エージェントの実測性能

今のツールが動く環境か確認する

DGX SparkはNVIDIAソフトとCUDA、MacはMLX・Metalの経路で準備します。同じモデルでもファイル形式とサーバーの導入が違う場合があります。アプリの接続方法、パッケージとCPUアーキテクチャ対応を先に確認すると購入後の問題を減らせます。

実際のファイルで128GBと256GBの差を確認する

大きなモデルには重み以外に作業領域と会話キャッシュが必要です。量子化ファイルと長い入力で搭載余裕を比べましょう。Sparkに収まるファイルで速度を確認してからMacで大きいファイルを使う理由を考えると、容量への追加支出かが分かります。

モデルサーバーと日常PCの役割を分ける

Macで編集と推論を併用するか、Sparkを別サーバーにするか決めましょう。分離すると作業PCのメモリを節約できますが、接続と管理が増えます。1台は簡単ですが他のアプリとメモリを共有します。価格と合わせ、この運用も判断基準に含めてください。

主要の違い

用途別推奨

価格差の判断

中間価格ベースでRyzen AI Max+ 395 128GBのほうが約441万ウォン安価です。体感速度と用途別の判定もあわせて確認してください。

各デバイスの詳細

• Ryzen AI Max+ 395 128GB ローカル LLM 費用対効率
• NVIDIA DGX Spark 128GB ローカル LLM選定基準

GPUが使える空間を先に確認する

Ryzen AI Max+ではGPUへの割り当てとOSへ残す空間を確認します。DGX SparkにもOSとエンジンの余裕が必要です。下の利用可能メモリで搭載を比べ、購入本体のBIOSとOSで同じ配分にできるか確認しましょう。

AMDエンジンとCUDAツールを分けて選ぶ

CUDA専用パッケージを維持するならSparkの環境を検討します。AMDではシステムとツールが対応するROCm・Vulkan・HIPなどを選びましょう。ツールが決まっているなら、GPU名よりOS・アーキテクチャ・パッケージ対応表を先に確認すると試行錯誤を減らせます。

同じチップの別本体と価格を混ぜない

Ryzen AI Max+ 395搭載機はメモリ・SSD・冷却がさまざまです。GB10系もメーカーごとに販売構成が違います。価格はこのページのメモリと実際の本体が一致するか確認しましょう。本体が変わる場合、電力と長時間の実行条件も確認が必要です。

主要の違い

用途別推奨

価格差の判断

Mac mini M4 Pro 64GBは完成品PC、RTX 5060 Ti 16GBはGPU単体の価格です。GPU単品については本体費用を加えた上で比較すべきです。

各デバイスの詳細

• Mac mini M4 Pro 64GB ローカルLLMの速度・メモリ・電気代
• NVIDIA GeForce RTX 5060 Ti 16GB ローカル LLM 速度・メモリ・電気代

小さいVRAMと大きい共有メモリの選択

5060 Tiは16GB VRAMとシステムRAMを別に使い、Mac miniは64GBをCPU・GPU・アプリで共有します。大きなファイルの搭載余裕とVRAMに収まる小さなモデルの速度を分けて比べましょう。RAMとGPU間のオフロードもPC構成に依存します。

LLM以外に画像生成ツールも使う？

画像・動画ツールも使うならCUDAとMacの対応を確認しましょう。一つのLLMの生成速度だけでは全作業を選べません。ここでテキスト応答を比べ、機器詳細から画像・動画体験へ進んで使うモデルの実行条件も確認できます。

既存PCの有無で追加費用が変わる

PCの電源・スロット・冷却が合えばGPU追加から始められます。新規PCにはCPU・基板・RAM・SSD・電源・ケースも必要です。Mac miniにも必要なら画面と入力機器を加えます。持っている部品と新規購入を分けると公平に費用を判断できます。

主要の違い

用途別推奨

価格差の判断

RTX 5090 32GBはGPU単体、Studio M5 Max 128GBは完成品PCの価格です。GPU単品については本体費用を加えた上で比較すべきです。

各デバイスの詳細

• RTX 5090 32GB でのローカルLLM・画像・動画生成パフォーマンス
• Mac Studio M5 Max 128GB ローカル LLM スピード・メモリ・電気代

速い小モデルと大モデルの回答を比べる

ハードを選ぶ前に普段の質問をいくつか決めましょう。5090で速く動くモデルとMacの大きいファイルの回答を比べます。コード・要約・文書質問で必要な答えが得られる側を確認すると、速度と容量の優先順位を決めやすくなります。

ソフトとモデルファイルも選択に含める

NVIDIA経路にはCUDAとエンジン用量子化ファイル、Mac経路にはMLX・Metal用ファイルを用意します。今のチャットや画像ツールが新サーバーへ接続できるかも確認しましょう。推奨設定からガイドへ進めば機器選択と準備を一緒に進められます。

GPU単体と完成機の総費用を合わせる

5090の価格にはPC全体が含まれません。本体の再利用か新規構築かで費用は大きく変わります。Mac Studioの本体価格と比べる際は、必要なPC部品と周辺機器を同じ基準で加えましょう。常時稼働には下の継続負荷電力も確認してください。

要点

1. 正式な改定案の意見募集と、すでに始まっている事前登録を分けて考えます。
2. API利用、海外での直接ホスティング、公開済みの技術は、それぞれ扱いが異なります。
3. よく行う作業に使えるローカルモデルと実行設定を一緒に用意します。

始まった手続きと、これから決まるルール

中国の商務部と科学技術部は2026年10月16日、AI・バイオ・太陽光分野の技術を輸出禁止・制限技術目録へ追加する改定案を公表しました。AI分野では大規模モデル、エージェント、計算クラスター、情報処理に関する技術が対象に含まれます。どの技術をどのように国外へ移すかが管理の基準です。

意見募集は11月15日まで行われます。改定された目録が正式に施行されるまでは、公表された対象技術を輸出する事業者に事前登録を求めています。すでに始まった登録手続きと、意見を集めている最終的なルールを分けて読むことが大切です。今使っているモデルについては、提供方法とサービス側のお知らせを確認します。

• 中国商務部・科学技術部2026年第48号公告
• オープンウェイトAIを無料で使うには？APIサービス5社を比較
• ローカルLLM用の機器選び：メモリ・速度・消費電力
• ローカルLLMとは？インストール・PC仕様・モデル選びから速度確認まで

APIで回答を受け取る場合と、モデルを国外へ移す場合

OpenRouterへ質問を送ると、接続先の提供事業者がサーバー上でモデルを動かし、回答を返します。海外の事業者がモデルファイルを受け取って自社サーバーに設置する場合は、モデル技術そのものが移転します。公式の質疑応答では、この二つを異なる扱いとしています。

2026年10月16日付の中国商務部公告・質疑応答に基づく整理です。

• 中国商務部の公式質疑応答

OpenRouterではどんな変化が考えられる？

OpenRouterは、複数の提供者の推論APIを一つの接続方法で使えるサービスです。同じモデルでも提供者が複数あり、処理速度・価格・データを処理する場所が異なります。OpenRouterで同じモデルを選んでも、実際のリクエストは別々の提供者のサーバーで処理されることがあります。

制限対象の技術を新たに受け取り、海外サーバーで直接運用する提供者は、技術移転手続きの影響を受ける可能性があります。現在の事前登録と今後確定する管理規則により、海外提供者が新しいエンドポイントを追加する時期が変わることも考えられます。既存APIへの接続と海外での新たなホスティングを分けて考えたシナリオです。

今回の発表には、OpenRouterでのモデル提供停止やQwen・DeepSeek全体の利用遮断という決定は含まれていません。利用中のモデルに変更があれば、モデルページで提供者と利用可能地域を確認し、その提供者の告知で影響を受けるエンドポイントを調べてください。

• OpenRouterの提供事業者との接続方式

ローカルLLMで続けられる作業

ローカルLLMは、ダウンロードしたモデルを自分のPCやMacで動かします。公開コードの不具合を探して修正方針を尋ねる作業なら、同じコードをローカルの実行アプリに入力して回答を受け取れます。計算は手元のコンピューターが担うので、その作業を外部の推論APIの接続状況や料金方針に依存せず続けられます。

モデル、実行アプリ、必要なランタイムをあらかじめ取得すれば、LM Studioでインターネット接続なしにチャットしたり、ローカルサーバーを動かしたりできます。モデルの検索や追加ダウンロードには接続が必要です。Web検索や外部ツールを使う作業は、それらへの接続も必要なので、最初は短いコードのレビューのように手元で完結する作業から準備すると始めやすくなります。

モデルを手元に保存することで、そのバージョンの機能を使い続けられます。今後公開される大きなモデルや、外部サービスの検索機能も必要なら、既存のAPIとローカルモデルを作業ごとに使い分けます。取得時のライセンスと利用条件も、ファイルと一緒に保存してください。

• LM Studioでオフライン実行できる機能

新しいGPUを買う前にできる準備

まず[機材選び](/?tab=finder)で現在のPC・Macと利用するモデルを選び、実行できる構成を絞ってみてください。モデルを置く領域に加えて、入力文書や会話の状態を処理するメモリーも必要です。普段の用途が短い質問のやり取りなら、外部サービスと同じ規模のモデルを最初から目指す必要はありません。

実行アプリでモデルを読み込み、公開してもよいコードを一つ入力します。エラーの原因と修正案を尋ね、同じ関数について追加の質問も送ってください。レビューと追加質問を終え、応答速度も作業に合うなら、その構成を予備として残しましょう。必要な原因と修正方法が回答に含まれるか、最初の回答までどれだけ待ったかを別々に記録すると、モデルや機器を変える理由も具体的になります。

今使っているアプリを接続したい場合は、[OpenRouterからローカルLLMへ切り替える手順](/guides/openrouter-to-local-llm-fallback-guide)を参照してください。動作したモデルは、[モデルのバックアップ・復元ガイド](/guides/local-llm-model-backup-restore-guide)に沿ってファイルと設定を保存できます。準備の目的は、まず新しい機材を買うことよりも、サービスが変わっても続けられる作業を一つ用意することです。

次に変化があったとき、どこを確認する？

今後は中国の正式な改定公告で対象範囲と例外がどう決まったか、利用中の事業者がどのモデル・地域・接続方法を変更するかを確認します。モデルの提供事業者が変わった場合は、料金に加えてデータの処理地域とプライバシー条件も確認してください。具体的な変更があった段階で、その作業の接続先を調整できます。

今のAPIが問題なく動いているなら、そのまま利用できます。提供者や利用条件が変わって作業を続けにくくなったときは、先に試したローカル構成を代わりに選べます。

よくある質問

この記事で最初に確認すべきことは何ですか？

中国は一部のAI技術を国外へ移転する際の管理手続きを追加する改定案を公表しました。2026年10月17日時点で対象となる輸出の事前登録が始まり、正式な管理範囲は意見募集の段階です。APIで回答を受け取る場合と、海外のサーバーにモデルを設置する場合では扱いが異なります。まず自分の利用方法を整理すると、使い続けるものと準備するものを判断できます。

必要なメモリはどのくらいですか？

まず[機材選び](/?tab=finder)で現在のPC・Macと利用するモデルを選び、実行できる構成を絞ってみてください。モデルを置く領域に加えて、入力文書や会話の状態を処理するメモリーも必要です。普段の用途が短い質問のやり取りなら、外部サービスと同じ規模のモデルを最初から目指す必要はありません。

条件と出典はどこで確認できますか？

モデルを手元に保存することで、そのバージョンの機能を使い続けられます。今後公開される大きなモデルや、外部サービスの検索機能も必要なら、既存のAPIとローカルモデルを作業ごとに使い分けます。取得時のライセンスと利用条件も、ファイルと一緒に保存してください。

要点

1. LM Studioランタイムが対応するモデルファイルをダウンロードしてメモリに読み込みます。初回起動時にランタイムのインストールが表示されたら完了します。
2. Developerタブのサーバーアドレスと`/v1/models`の応答を確認し、その一覧に表示されたモデルIDをアプリに入力します。
3. OpenRouterのプロファイルを上書きせず、ローカル用の別プロファイルと新しいチャットを使います。サーバー認証を有効にした場合はローカル用トークンだけを入力し、外部サービスのキーは送りません。

ローカルAPIサーバーがアプリのリクエストを受けて回答を返します

アプリが送ったコードや質問をLM StudioのAPIサーバーが受け取り、ローカルモデルで処理した回答をアプリに返します。接続するアプリの設定画面で、OpenAI-compatibleまたはCustom providerを選べるか確認してください。ここにLM Studioのサーバーアドレス（Base URL）とモデルIDを登録します。[LM Studioサーバー案内](https://lmstudio.ai/docs/developer/core/server)・[互換APIとBase URL](https://lmstudio.ai/docs/developer/openai-compat)

次の関数は、全体の値`total`に対して`part`が占める割合を計算します。このコードをローカルモデルへ送り、`total`が0の場合の問題と修正方法を尋ねます。

def percentage(part, total):
    return part / total * 100

• GGUFとMLX、ダウンロードするモデル形式の選び方
• Qwen3.8 27Bが7.89GBに？Salukiの導入と8GB GPUでの実行条件
• Gemma 4 12Bの実行設定：デスクトップのQ4とサーバーのBF16
• ローカルLLMに必要なVRAM・ユニファイドメモリ容量
• ESPHomeで音声サテライトを作る：ESP32-S3のマイクとウェイクワード設定

接続できる間にモデルと実行ランタイムを準備します

LM Studioをインストールし、Discoverタブでモデルを探します。モデルカードでGGUFやMLXなどLM Studioランタイムが対応する形式かを確認し、メモリに合う量子化ファイルを選びます。ツール呼び出しが必要なら、選んだモデルが対応しているかもモデルカードで確認します。[モデルのダウンロード案内](https://lmstudio.ai/docs/app/basics/download-model)

ダウンロード後はChatタブでモデルを選び、メモリへ読み込みます。初回に必要なランタイムのインストール案内が出たら、合わせて完了してください。外部で取得したGGUFは`lms import --copy`でLM Studioのモデルフォルダーへ取り込めます。OpenRouterだけが使えずインターネットには接続できるなら、この準備を進められます。インターネット自体が切れる場合にも備えるなら、モデルとランタイムを事前にダウンロードしてください。モデル検索・ダウンロード、ランタイムの導入、更新には接続が必要です。[オフライン利用案内](https://lmstudio.ai/docs/app/offline)・[モデルの取り込み](https://lmstudio.ai/docs/app/advanced/import-model)

localhostサーバーと実際のモデルIDを確認します

LM StudioのDeveloperタブを開き、ServerのStart serverをオンにします。標準例のポートは1234ですが、Server Settingsで変更できるため、アプリに表示された実際のAPIアドレスを使います。Serve on Local Networkはオフのままにし、サーバーをこのコンピューターのlocalhostだけで利用します。[サーバー起動](https://lmstudio.ai/docs/developer/core/server)・[サーバー設定](https://lmstudio.ai/docs/developer/core/server/settings)

ブラウザーまたはターミナルで`http://localhost:1234/v1/models`を開き、`data`配列の`id`をアプリにコピーします。ポートを変えた場合は1234を実際の番号に置き換えます。JIT読み込みが有効だと、一覧にはディスク上にあり、まだメモリに読み込まれていないモデルも含まれることがあります。Chatタブのモデルローダーで先に読み込むか、Server SettingsでJITを有効にします。[モデル一覧API](https://lmstudio.ai/docs/developer/openai-compat/models)・[サーバー設定](https://lmstudio.ai/docs/developer/core/server/settings)

認証が初期設定のままなら、このモデル一覧リクエストに外部APIキーは不要です。LM StudioでRequire Authenticationを有効にした場合は、Server SettingsのManage Tokensで作成したローカルAPIトークンを使い、アプリの認証欄が必要とする場合だけ入力します。OpenRouterなどクラウドサービスのキーをlocalhostリクエストに入れないでください。[LM Studio認証設定](https://lmstudio.ai/docs/developer/core/authentication)

curl http://localhost:1234/v1/models

ローカル用の別プロファイルを作って新しいチャットを開きます

アプリのモデルプロバイダー設定でOpenAI-compatibleまたはCustom providerを選び、ローカル用プロファイルを新規作成します。OpenRouterプロファイルを複製すると、プロバイダー種別や自動ルーティングが残る場合があるため、新しいカスタム接続を選びます。Base URLは`http://localhost:1234/v1`、モデルIDは`/v1/models`からコピーした値にします。自動プロバイダーフォールバックやモデルルーターがあればオフにし、失敗したリクエストが外部サービスへ再送されないようにします。[LM StudioのBase URL形式](https://lmstudio.ai/docs/developer/openai-compat)

プロファイルを保存したら、ローカルプロファイルを選んで新しいチャットを開きます。アプリがチャットに含めるメッセージや添付ファイルを確認し、今回レビューするコードと質問を改めて入力してください。過去のクラウドチャットにあったコードや条件も必要なら、一緒に追加します。

短い質問で接続を確かめ、コードをレビューします

アプリで`1 + 1はいくつですか？`と尋ねてください。回答が返れば、質問を送り応答を受け取る基本的な接続はできています。回答が来ない場合は次の節のエラー表を確認します。リクエストが実際にLM Studioへ届いたかも確かめたいときは、次のログ確認を追加できます。

リクエストの記録を見る場合は、ターミナルで`lms --help`を実行してコマンド一覧が表示されるか確認します。見つからない場合は[LM Studio CLIの準備案内](https://lmstudio.ai/docs/cli)に従って設定してください。その後、次のログコマンドを実行し、ターミナルを開いたままにします。

lms log stream --source server

ログを有効にした場合は同じ短い質問を再送し、リクエストが記録されるか確認します。[ログコマンドの案内](https://lmstudio.ai/docs/cli/serve/log-stream) 接続を確認できたら、例の関数と`バグを見つけ、最小限の修正案を教えてください。totalが0の場合はどうなりますか？`を送ってください。`total == 0`で`ZeroDivisionError`が発生するという指摘と修正案を受け取ったら、0をどう扱い、何を返すかをコードと照合します。

ローカルモデルはクラウドモデルと文脈長やツール呼び出し対応が異なることがあります。長いリクエストはコードと質問を保ったまま入力を短くし、ツールが必要な作業ではアプリのツール連携をオフにした結果とオンにした結果を比べます。この例では、ゼロ除算を見つけられるか、提案された処理が意図した戻り値を返すかを確認します。

エラーが出たらアドレス・モデルID・認証を順に確認します

エラーが出たら、アプリとLM Studioのログに最初に現れたステータスコードや文言を記録してください。次の表で該当する症状を探し、一項目ずつ直してから同じ短い質問で再試験します。サーバーログにリクエストが残るかも確認すると、アプリの接続とモデルの回答の問題を分けやすくなります。正常応答後も作業結果が異なる場合は、文脈長・ツール対応・出力上限も確認してください。[サーバー状態の案内](https://lmstudio.ai/docs/cli/serve/server-start)

接続情報を記録して次の作業に備えます

サーバーポート、モデルID、モデルを読み込むランタイムを記録しておけば、後で新しいチャットから同じ確認を続けられます。モデルファイルと実行設定の保存方法は[ローカルLLMのバックアップ・復元ガイド](/guides/local-llm-model-backup-restore-guide)、関連政策の適用範囲は[AI輸出管理とローカルモデルの案内](/guides/china-ai-export-controls-openrouter-local-llm-guide)を参照してください。

ハードウェア別速度チューニングおよびサーバーリシピ要約

重み、KVキャッシュ、プリフィルバッチ、同時リクエストと加速機能を分離し、バランス・速度・長い文脈プロファイルで提供します。

詳細ページでは、プロフィールごとの実行コマンド、設定値、停止条件、測定手順を確認できます。コマンドはモデルファイルと実行環境が確認できた組み合わせにのみ表示します。

よくある質問

この記事で最初に確認すべきことは何ですか？

LM Studioは、手元のPCやMacでモデルを動かし、ほかのアプリからの質問にも応答できるプログラムです。いつものアプリがOpenAI互換のカスタム接続に対応していれば、ローカル用の別プロファイルを作ってLM Studioにつなげられます。モデルを事前に準備し、短いコードレビューで接続と回答を試します。

必要なメモリはどのくらいですか？

LM Studioをインストールし、Discoverタブでモデルを探します。モデルカードでGGUFやMLXなどLM Studioランタイムが対応する形式かを確認し、メモリに合う量子化ファイルを選びます。ツール呼び出しが必要なら、選んだモデルが対応しているかもモデルカードで確認します。[モデルのダウンロード案内](https://lmstudio.ai/docs/app/basics/download-model)

条件と出典はどこで確認できますか？

LM Studioをインストールし、Discoverタブでモデルを探します。モデルカードでGGUFやMLXなどLM Studioランタイムが対応する形式かを確認し、メモリに合う量子化ファイルを選びます。ツール呼び出しが必要なら、選んだモデルが対応しているかもモデルカードで確認します。[モデルのダウンロード案内](https://lmstudio.ai/docs/app/basics/download-model)

要点

1. モデルリポジトリID、固定コミットID、元のファイル名と形式をバックアップ記録に残します。
2. GGUFは単一ファイルの場合もありますが、分割モデルにはすべてのシャードが必要で、MLXやsafetensorsでは関連ファイルをまとめて保管します。
3. 元のモデルフォルダーを保ち、別のパスにコピーを作って試せば、失敗しても使い慣れたモデルを使い続けられます。

普段のモデルと試す文書を先に決めます

文書要約に普段使うモデルを一つ選びます。コピーする前に「来週火曜日の午後3時から、点検のためサービスを10分間停止します」というお知らせを入力し、「予定と想定される影響を一文で要約してください」と依頼してください。お知らせと依頼文を一緒に残しておけば、あとでコピーを読み込んで同じ内容で動作を試せます。復元テストが終わるまで、普段使うモデルフォルダーは残してください。

同じファイルを再取得するには、リポジトリの`main`や移動するタグではなく、固定コミットを記録します。非公開またはアクセス制限付きリポジトリからの再ダウンロードには、承認済みアカウントとアクセス権が必要です。保管済みのモデルファイルはローカルで復元し、他の人と共有・配布するときはライセンス条件を確認してください。

• Hugging Faceのファイルダウンロードとリビジョン指定
• GGUFとMLX、ダウンロードするモデル形式の選び方
• 完全オフラインローカルAIの構築：エアギャップのインストールとアップデート手順
• oMLXでMacのローカルAIを動かす：0.7.1rc1の新設定は？
• ローカルLLMの実行ソフト、何から使えばいい？

モデル形式に応じて保管するファイルを確認します

まずアプリのモデル管理画面で、実際に読み込んでいるフォルダーのパスを確認します。モデル名だけを覚えていると、似た名前の別の量子化ファイルや新しい版を再取得することがあります。リポジトリの作成者とID、正確なコミットリビジョン、元のファイル名、形式と量子化、アプリとランタイムの版、チャットテンプレートやコンテキスト長など変更した設定を記録します。

GGUFファイルには重みとモデルを説明するメタデータが含まれ、単一ファイルで動くモデルもあります。モデルカードと実行エンジンが指定するファイル一覧を確認してください。複数のファイルに分割されたモデルは、すべてのシャードを同じフォルダーに保管します。画像や音声を扱うモデルでは別のプロジェクターファイルが必要な場合があるため、モデルカードに記載された構成とファイル名に従います。

MLXとsafetensorsのモデルは、重みの読み込みに設定、トークナイザー、インデックス、シャードファイルを併用する場合があります。現在のアプリが読み込むリポジトリフォルダー全体をコピーし、モデルカードに指定されたファイルも含めます。モデルカードとライセンスの控えをフォルダーに保存すると、後でリポジトリと利用条件を確認できます。

• GGUFのメタデータと形式
• safetensorsのシャードとインデックスファイル構成
• Hugging Faceのキャッシュとスナップショット構造

モデルフォルダーを丸ごとコピーし、ファイルを照合します

アプリで確認したモデルフォルダーをエクスプローラーやFinderで開き、バックアップ用ストレージへフォルダーごとコピーします。分割された重み、設定、トークナイザーファイルも一緒に残してください。コピー後は元とファイル一覧・サイズを照合し、記録した版・実行設定、モデルカード、ライセンスも同じバックアップに保管します。復元テストが終わるまで、元のフォルダーは残してください。

標準Hubキャッシュからコピーする場合はシンボリックリンクに注意してください。`snapshots`内のファイルが`blobs`のデータへのリンクなら、リンクをたどって実ファイルをコピーするか、リンクを保って`snapshots`と`blobs`を両方コピーします。スナップショットだけを移すと、元のコンピューターのキャッシュを指すリンクが移行先で切れることがあります。

コピーのファイル一覧とサイズを元と照合し、重要な大容量ファイルはSHA-256チェックサムでバイト列が同じか確認できます。macOSではターミナルを開き、下の二つのパスを元のGGUFとコピー先ファイルの実際のパスに置き換えて実行します。ファイル名の前に表示されるチェックサム文字列が二つとも同じなら、両方のファイル内容は一致しています。

shasum -a 256 "$HOME/Models/Publisher/Model/model.gguf" "/Volumes/Model-Backup/Publisher/Model/model.gguf"

• Hugging Faceのキャッシュ管理

GGUFのバックアップをLM Studioの別フォルダーへ取り込んで実行します

LM Studioアプリを一度開いてから、ターミナルで`lms --help`を実行し、コマンド一覧が表示されるか確認します。見つからない場合は[CLIの準備案内](https://lmstudio.ai/docs/cli)に従って設定してください。次のコマンドはコピー済みのテキスト用単一GGUFを、`backup-check/restored-model`という試験用モデルフォルダーへ取り込みます。`--copy`で取り込む元のファイルも残し、`--user-repo`で普段のモデルとは別のフォルダーを指定します。この試験用フォルダーがすでに使われている場合は、既存ファイルを上書きせず新しい名前に変えてください。

lms import "/Volumes/Model-Backup/Publisher/Model/model.gguf" --copy --user-repo "backup-check/restored-model"
lms ls

取り込み後は`lms ls`またはアプリのMy Models画面で、`backup-check/restored-model`配下の試験用モデルを選びます。バックアップ用ストレージから取り込んだこのモデルで試します。記録したアプリ・ランタイムの版と設定をそろえ、冒頭のお知らせと要約の依頼を再送してください。回答に火曜日午後3時と10分間の停止が含まれるか確認します。

オフラインでも使えるか確かめるなら、モデルとランタイムを用意した状態でネットワークを切り、同じ要約をもう一度試します。LM Studioではダウンロード済みLLMとのチャットとローカルサーバーをオフラインで使えます。モデル検索、新規ファイルやランタイムのダウンロード、更新確認には接続が必要です。

普段と異なる結果になったら、モデルのパス、欠けているシャード、読み込まれたモデルID、テンプレート、コンテキスト設定を記録と照合します。読み込みエラーはランタイムの互換性や関連ファイルの欠落を示すことがあり、応答の違いは設定や実行エンジンの版の違いから生じることがあります。再ダウンロードする前に、どの段階で差が出たかを確認すると、元とコピーの違いを見分けられます。

• LM StudioへのローカルGGUFの取り込み
• LM Studio CLIの準備と基本コマンド
• LM Studioのオフライン動作

ファイルを再取得するときは固定コミットを指定します

Hugging Faceからモデルを取得するときは、リポジトリのコミット履歴から固定された完全なコミットIDをコピーします。`hf download`に`--revision`を付けて指定すると同じ版を選べます。実際にダウンロードする前に`--dry-run`を付ければ、取得対象のファイル一覧と合計容量が表示されます。選んだフォルダーにリポジトリ全体を通常ファイルとして保存する場合は`--local-dir`を加えます。アクセス制限付きモデルの取得には、そのアカウントでの認証とアクセス承認が必要です。

モデルフォルダーをすでにバックアップしているなら、そのファイルで復元できます。新たに取得するときは`--local-dir`で、選んだフォルダーにリポジトリ構造どおりの通常ファイルを保存できます。取得後は前述のコピー、ファイル照合、復元テストの順に保管状態を確認してください。

• Hugging Face CLIのダウンロード・リビジョン・dry-run

モデルのバックアップとアプリ全体のバックアップは範囲が異なります

この記事の復元コマンドは、LM Studioで使うテキスト用の単一GGUFが対象です。MLX・safetensorsは前述のとおりフォルダーと同伴ファイルを保管し、復元時は元のアプリのモデル登録手順に従ってください。そのアプリが求めるフォルダー構造でコピーを登録し、記録した設定と同じ要約依頼で試します。

個人用モデルのバックアップでは、モデルファイルと読み込みに使ったアプリ・ランタイムの版や設定を記録します。新しいコンピューターをインターネットに接続せずに使い始める場合は、OS、アプリのインストーラー、必要なランタイムも別途用意します。まず普段使っているアプリとランタイムの版でコピーを試し、別の版に変えた場合は代表的な文書要約をもう一度実行して違いを確認します。

一人が一つのモデルを移す場合は、現在のアプリで使うモデルフォルダーと設定記録を保管します。複数の端末へ同じ環境を配布する場合や、検証済みの導入一式をセキュアな領域へ持ち込む場合は、[オフライン・エアギャップ環境へのローカルAI導入ガイド](/guides/offline-airgapped-local-ai-deployment)の組織向け手順を参照してください。個人の復元は、元を残してコピーで普段の要約をもう一度行えば完了です。

復元したモデルをいつものアプリにつなぐ場合は、[OpenRouterからローカルLLMへの切り替えガイド](/guides/openrouter-to-local-llm-fallback-guide)でローカルプロファイルとサーバーアドレスの設定を確認してください。

よくある質問

この記事で最初に確認すべきことは何ですか？

ローカルLLMのバックアップでは、普段使うモデルフォルダーと版・実行設定を別のストレージに保管します。復元時はバックアップファイルを実行アプリへ登録し、いつもの作業ができるか試します。まずフォルダー全体をコピーする方法を確認し、LM Studioにテキスト用の単一GGUFを取り込んで要約する例で復元を進めます。

条件と出典はどこで確認できますか？

同じファイルを再取得するには、リポジトリの`main`や移動するタグではなく、固定コミットを記録します。非公開またはアクセス制限付きリポジトリからの再ダウンロードには、承認済みアカウントとアクセス権が必要です。保管済みのモデルファイルはローカルで復元し、他の人と共有・配布するときはライセンス条件を確認してください。

要点

1. 74Bは総パラメーター数、A9Bはトークンごとの有効パラメーター規模を示し、GGUFファイル容量はファイルごとに別途表示されます。
2. expert重みはIQ2_XXS、Mamba線形層はNVFP4、一部の構成要素はQ8_0で量子化されています。
3. メモリ計画ではモデル重みのほか、コンテキスト状態、実行バッファ、他のアプリも考慮します。

74Bモデルのexpert重みを2bitに圧縮

NVIDIA Nemotron 3.5 Bolt は、質問やコードなどのプロンプトを受け取り、回答を生成する 74B モデルです。24 GB 構成で実行できるよう、大部分の expert 重みを 1 要素あたり 2.0625 ビットの IQ2_XXS で保存し、低精度での品質を補うため量子化対応蒸留（QAD）を適用しています。

24 GB 構成のメモリ予算は batch size 1、128K コンテキストを基準にしています。NVIDIA が推奨する実行時のコンテキスト長は GPU メモリに応じて 65,536 または 262,144 トークンです。

精度は構成要素ごとに異なります。Mamba線形層はNVFP4、lm_head・トークン埋め込み・attention・Latent MoE重みはQ8_0で保存されます。モデルカードのGGUFファイル一覧から、使用するメインモデル、画像プロジェクター、drafterの保存容量を合計できます。

各トークンの処理ではrouterが一部のexpertを選び、MambaとTransformerのブロックも計算します。A9Bはトークンごとに有効になるパラメーター規模です。速度を比べるときはメモリ帯域、ランタイムカーネル、GPUオフロード、入力長、同時リクエスト数も記録してください。

• RTX 5090 32GBのメモリ・速度・価格
• コンテキスト長・RoPE・スライディングウィンドウ
• MoEとDenseの違い：活性パラメータが小さくてもメモリが必要な理由
• GGUFとMLX、ダウンロードするモデル形式の選び方
• LiLiCorrとは？BoltとSuper VLのspeculative decoding
• AstaBrief 8B：論文の根拠を引用したレポートをローカルで作る

24GBのPCで最初に確認すること

GPUとCPUの配置を分けてメモリを確認します。GPUに置いた重み・KV cache・計算バッファの使用量はVRAMの空きと比べます。CPUに残したモデル部分と、OS・ブラウザー・エディターが使う量はシステムRAMの余裕と合わせて確認してください。GPUレイヤーのオフロード量を変えると、両方のメモリ使用量も変わります。

実行前に、モデルカードでGGUFの正確なファイル名とダウンロード容量、drafterファイルを確認します。llama.cppはMambaと該当する量子化形式に対応したビルドが必要です。古いランタイムではメモリ以外の理由で読み込みに失敗することがあるため、モデルカードの案内とインストール済みランタイムのリリース説明を照合してください。NVIDIAのBolt測定環境ではWindows 11 ARM x64上でllama.cppを使用しました。

RTX搭載デスクトップでは、全レイヤーをGPUメモリに置くか、一部をシステムメモリへオフロードするかをランタイムが選べます。一部のオフロードで実行できても、メモリ経路が変わるため処理速度は大きく変わる可能性があります。まず短いコンテキストと単一リクエストで始めます。タスクマネージャーの専用GPUメモリ、システムメモリ、ランタイムログを確認し、安定して応答したら入力長を増やして次の制限を切り分けます。

llama.cppで最初の回答を確認する

WindowsではPowerShellで `winget install llama.cpp` を実行します。クイックスタートを起動するとモデルをダウンロードし、`http://127.0.0.1:8080`にローカルチャット画面を開きます。短い質問を送り、回答を確認したらCtrl+Cでサーバーを終了します。RTX 5090では下の公式プロファイルを別に起動できます。[NVIDIA GGUFモデルカード](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF)

初回はターミナルにモデル名とダウンロードの進行状況が表示されます。ロード完了後、サーバーは準備完了メッセージとアドレスを出力します。同じPCのブラウザーで開き、「次の文を一文で要約してください：モデルは質問を受け取り、回答を生成します」と送ってください。内容に沿った要約が返ればテキスト推論が動いています。速度を比べるときはファイルのロード、最初のトークンまでの時間、生成中token/sを分けて記録します。

RTX 5090の32GB VRAMはNVIDIAの32GB以上のdGPUレシピ対象です。モデルカードと同じファイル名でメインGGUF、mmproj、LiLiCorr drafterを取得し、PowerShellのパスを設定して起動すると、コンテキスト65,536・1シーケンス・DFlash最大6トークン・Q8_0 KV cacheで動作します。クイックスタートは自動ダウンロード、下のプロファイルは3ファイルを直接読み込む方法です。クイックスタートをCtrl+Cで終了してから起動してください。[NVIDIA Windowsレシピ](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF)

初回実行でunsupported tensorが出たら、llama.cppの版とモデルカードの対応形式を照合します。CUDA allocation errorなら、まずコンテキストとバッチサイズを下げ、Windowsタスクマネージャーで専用・共有GPUメモリを確認します。サーバー起動後にブラウザーが接続できない場合は、ターミナルに表示されたポートが8080か確認し、同じPCの127.0.0.1を開きます。

winget install llama.cpp
llama serve -hf nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF --host 127.0.0.1 --port 8080

python -m pip install --upgrade huggingface_hub
$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF `
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf `
  mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf `
  --local-dir "$env:MODEL_DIR"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF `
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf `
  --local-dir "$env:MODEL_DIR"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:MMPROJ = Join-Path $env:MODEL_DIR "mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:SPEC_DRAFT = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf"

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:MMPROJ = Join-Path $env:MODEL_DIR "mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:SPEC_DRAFT = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf"
llama-server.exe `
  --model "$env:MODEL" `
  --mmproj "$env:MMPROJ" `
  --batch-size 2048 `
  --ubatch-size 512 `
  --ctx-size 65536 `
  --parallel 1 `
  -ngl 999 `
  --spec-type draft-dflash `
  --spec-draft-n-max 6 `
  --spec-draft-model "$env:SPEC_DRAFT" `
  --spec-draft-ngl 999 `
  --cache-type-k q8_0 `
  --cache-type-v q8_0 `
  --temp 1.0 `
  --top-p 0.95 `
  --flash-attn on `
  --jinja `
  --host 127.0.0.1 `
  --port 8080

RTX Sparkで公開された生成・エージェント処理速度

NVIDIAは128GBのSurface Laptop Ultra内のRTX Sparkで、Windows 11 ARM x64とllama.cppを使ってモデルを比較しました。AIPerf SPEED-Bench-Codingは生成速度を測り、AA-AgentPerf Localは複数段階のタスクを再生します。各モデルの結果と条件は、同シリーズの「Nemotron BoltとQwen3.8-27Bの比較」記事の表にまとめています。ここでは指標が表す処理の違いを押さえます。

TPSは固定入力に対する生成処理量、replay durationはツール使用を含む所定のagent処理群の完了時間です。短いコード補完ではTPSと最初のトークンまでの時間を、複数のツールをつなぐ処理では全体のreplay時間を先に見ます。

公開値を自分のPCに当てはめるのではなく、実際に任せたい処理を一つ選び、同じプロンプト・文書・ツールで試します。まず短い入力で回答品質と最初のトークンまでの時間を記録し、その後、普段の文書と繰り返すツール呼び出しを加えて全体時間・VRAM・失敗数を比較すると、設定を変える理由が明確になります。

• BoltとQwen3.8の測定結果一覧を見る

候補にする用途と比較から始める用途

Boltを検討する価値があるのは、データセンターではなくRTX系やDGX Sparkで、総規模70B級のモデルを使ってエージェント処理を試したい場合です。ターミナル操作、ウェブ閲覧、複数段階の計画などNVIDIAの評価タスクを目的にするなら、まずモデルカードのプロンプト形式を合わせてください。品質とツール呼び出しの信頼性は指示文・ツール・安全設定に左右されるため、実運用の自動化へ接続する前にサンドボックスで各処理を検証します。

24GBカードでBoltを試す場合は、まずCPU/RAM優先コマンドで回答が返るか確認し、動作した設定からGPUレイヤーを増やします。設定を一つずつ変えるのは、モデルのロード失敗とGPUメモリの制限を切り分けるためです。具体的な開始コマンドは3090・5090ガイドにあります。

よくある質問

この記事で最初に確認すべきことは何ですか？

Nemotron 3.5 Bolt 74B-A9Bは大型モデルを圧縮した言語・視覚ハイブリッドモデルです。NVIDIAのllama.cppレシピを使ったダウンロードとGPUメモリ別の実行方法を紹介します。

必要なメモリはどのくらいですか？

24 GB 構成のメモリ予算は batch size 1、128K コンテキストを基準にしています。NVIDIA が推奨する実行時のコンテキスト長は GPU メモリに応じて 65,536 または 262,144 トークンです。

条件と出典はどこで確認できますか？

精度は構成要素ごとに異なります。Mamba線形層はNVFP4、lm_head・トークン埋め込み・attention・Latent MoE重みはQ8_0で保存されます。モデルカードのGGUFファイル一覧から、使用するメインモデル、画像プロジェクター、drafterの保存容量を合計できます。

要点

1. 3090の24GBは専用VRAMで、実行中は重み・KV cache・計算バッファが同じ領域を使います。
2. 5090は公式28GB dGPUレシピ、3090はCPU/RAM優先経路から始めます。
3. 3090では回答が返った設定から`-ngl`を段階的に増やし、VRAMとシステムRAMを記録します。

実行メモリは重みとコンテキストが使います

RTX 3090の専用VRAMは24GBです。実行時はモデル重みに加えて、コンテキストを保存するKV cache、計算バッファ、画面出力、ドライバーも領域を使います。起動後にタスクマネージャーでVRAM使用量を確認し、短い`-c 4096`から安定する設定を探します。

RTX 5090は32GBのVRAMを搭載し、NVIDIAの32GB以上のdGPUプロファイルを使えます。使用するllama.cppビルドのMamba・Transformer演算とIQ2_XXSへの対応を確認してからモデルをロードし、コンテキスト長と同時リクエスト数を一つずつ調整しながらメモリ使用量を記録します。

• RTX 5090 32GBのメモリ・速度・価格
• コンテキスト長・RoPE・スライディングウィンドウ
• GGUFとMLX、ダウンロードするモデル形式の選び方
• LLMのメモリ帯域幅 vs 演算性能：速度のボトルネックを見つける方法
• RTX SparkノートPC、DGX Spark・MacBook Proと何が違う？

5090は公式プロファイル、3090はCPUから試す

RTX 5090の32GBはNVIDIA公式28GB dGPUレシピの対象です。メインGGUF、mmproj、別ファイルのLiLiCorr drafterを取得してPowerShellの環境変数に各パスを設定し、モデルカードのコマンドをそのまま実行します。コンテキスト65,536・1シーケンス・DFlash最大6トークン・Q8_0 KV cacheでサーバーが起動します。最初のテストがテキストのみでも、レシピが指定するmmprojファイルを用意してください。

RTX 3090でCPU優先テストを行う場合は、[公式モデルカード](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF)から約22GBのメインGGUFを取得し、`models\nemotron-bolt`に置きます。OSとランタイムバッファ用のシステムRAMも確保してください。最初の診断は`-c 4096 -ngl 0`で実行し、回答とRAM使用量を記録する試験経路です。回答が返ったら、下の-ngl 8と16を一つずつ選んで実行し、VRAMと出力を比較します。

サーバーは一度に一つだけ実行します。回答とメモリ使用量を記録し、次の設定へ進む前にターミナルでCtrl+Cを押して終了します。

python -m pip install --upgrade huggingface_hub
$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF `
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf `
  mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf `
  --local-dir "$env:MODEL_DIR"
hf download nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF `
  NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf `
  --local-dir "$env:MODEL_DIR"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:MMPROJ = Join-Path $env:MODEL_DIR "mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:SPEC_DRAFT = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf"

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:MMPROJ = Join-Path $env:MODEL_DIR "mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
$env:SPEC_DRAFT = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr.gguf"
llama-server.exe `
  --model "$env:MODEL" `
  --mmproj "$env:MMPROJ" `
  --batch-size 2048 `
  --ubatch-size 512 `
  --ctx-size 65536 `
  --parallel 1 `
  -ngl 999 `
  --spec-type draft-dflash `
  --spec-draft-n-max 6 `
  --spec-draft-model "$env:SPEC_DRAFT" `
  --spec-draft-ngl 999 `
  --cache-type-k q8_0 `
  --cache-type-v q8_0 `
  --temp 1.0 `
  --top-p 0.95 `
  --flash-attn on `
  --jinja `
  --host 127.0.0.1 `
  --port 8080

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
llama-server.exe --model "$env:MODEL" --ctx-size 4096 --parallel 1 -ngl 0 --host 127.0.0.1 --port 8080

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
llama-server.exe --model "$env:MODEL" --ctx-size 4096 --parallel 1 -ngl 8 --host 127.0.0.1 --port 8080

$env:MODEL_DIR = Join-Path $PWD.Path "models\nemotron-bolt"
$env:MODEL = Join-Path $env:MODEL_DIR "NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf"
llama-server.exe --model "$env:MODEL" --ctx-size 4096 --parallel 1 -ngl 16 --host 127.0.0.1 --port 8080

3090と5090の比較で記録する項目

2枚を比較するなら、PC・ドライバー・llama.cppビルド・モデルファイル・コンテキスト・プロンプトを揃えます。初回ロード、最初のトークンまでの時間、生成token/s、VRAM使用量、回答精度を別々に記録します。短いプロンプトのベンチマークTPSと実文書の完了時間は異なるため、両方が必要なら別々に測定してください。試行回数を揃え、平均とともに中央値を見ると、単発のバックグラウンド処理によるばらつきを抑えられます。

NVIDIAの公開測定は128GB Surface Laptop Ultra内のRTX Sparkで行われました。GPU世代だけでデスクトップRTX 3090・5090の結果に換算できません。VRAM、帯域幅、CPU/GPU間のオフロード、ランタイムのカーネルが異なるため、同じモデル・コンテキスト・プロンプトでカードごとに試します。

短いテストから実作業へ段階的に広げる

最初の回答が返ったら、短いコード編集やウェブ調査を単一プロンプトで試し、回答品質を確認します。次にツール呼び出しを有効にして同じ依頼をサンドボックスで実行し、変更ファイルと参照元を確認します。ツール結果の確認時間も含めて作業全体の所要時間を記録してください。

CPU/RAM実行に失敗したら、モデルファイルのパス、llama.cppの形式対応、システムRAMの空き、エラーログを確認します。GPUレイヤーを増やしてメモリエラーが出たら、直前に回答できた`-ngl`設定へ戻します。通常の応答を確認してからコンテキスト長を段階的に増やしてください。

ハードウェア別速度チューニングおよびサーバーリシピ要約

重み、KVキャッシュ、プリフィルバッチ、同時リクエストと加速機能を分離し、バランス・速度・長い文脈プロファイルで提供します。

詳細ページでは、プロフィールごとの実行コマンド、設定値、停止条件、測定手順を確認できます。コマンドはモデルファイルと実行環境が確認できた組み合わせにのみ表示します。

よくある質問

この記事で最初に確認すべきことは何ですか？

NVIDIA公式GGUFレシピは、VRAM 32GB以上と48GB以上のディスクリートGPUで異なるコンテキスト・バッチ設定を示しています。RTX 3090・5090の開始設定と記録項目を整理します。

必要なメモリはどのくらいですか？

RTX 3090の専用VRAMは24GBです。実行時はモデル重みに加えて、コンテキストを保存するKV cache、計算バッファ、画面出力、ドライバーも領域を使います。起動後にタスクマネージャーでVRAM使用量を確認し、短い`-c 4096`から安定する設定を探します。

条件と出典はどこで確認できますか？

RTX 3090でCPU優先テストを行う場合は、[公式モデルカード](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF)から約22GBのメインGGUFを取得し、`models\nemotron-bolt`に置きます。OSとランタイムバッファ用のシステムRAMも確保してください。最初の診断は`-c 4096 -ngl 0`で実行し、回答とRAM使用量を記録する試験経路です。回答が返ったら、下の-ngl 8と16を一つずつ選んで実行し、VRAMと出力を比較します。

要点

1. 特定の公開条件ではBoltのTPSが高く、再生時間も短い結果でした。
2. TPSは生成処理量、replay durationは所定のタスク群の完了時間です。
3. 自分のプロンプト・ツール・コンテキスト長での比較が選択に直結します。

2つの指標が示す異なる待ち時間

AIPerf SPEED-Bench-CodingのTPSは、一定のベンチマーク入力で生成したトークン処理量です。テキストの生成速度を示しますが、ツールの選択・実行、結果を読んだ後の計画修正まで含む全工程ではありません。体感待ち時間には最初のトークンまでの時間と出力長も影響します。

AA-AgentPerf Localのreplay durationは複数のagent軌跡を再実行する時間です。プロンプトやツール使用の段階を含むため、コーディングTPSより自動化全体の所要時間に近い指標ですが、固定シナリオと特定ランタイムに限られます。別のツールや長い文書を使うと順位が変わる可能性があります。

• GGUFとMLX、ダウンロードするモデル形式の選び方
• Lightning MTPとは？oMLX 0.7.1rc1で回答生成を速くする
• SpecPrefillで最初のトークンまでの待ち時間を短くする
• プリフィルとデコードの違い：TTFTとtok/sのどちらを見る？
• Nemotron 3.5 Boltの74Bモデルを24GBで動かせる？

公開測定でBoltがQwen3.8を上回った指標は？

測定は同じRTX SparkのSurface Laptop Ultra 128GB上で、Windows 11 ARM x64とllama.cppを使いました。TPSはAIPerf SPEED-Bench-Coding、再生時間はAA-AgentPerf Localの固定タスクセットの結果です。

自分の作業に合わせた小さな比較表を作る

表ではBoltの生成TPSがQwen3.8の約3倍で、固定されたagent処理も約42%短い時間で完了しました。一方、Qwen3.6とGemma4はBoltよりTPSが高く、再生時間も短い結果です。連続生成の補助用途ではTPSを、複数回ツールを使う自動化ではreplay durationを先に見ます。

各モデルを公式配布元から取得し、Qwen3.8-27Bの量子化とDFlash設定は公開表と同じ名称に合わせます。BoltでもIQ2_XXSとLiLiCorrを使うか記録します。各構成のファイル容量、ランタイム版、メモリ使用量を残せば再現しやすくなります。drafterが異なる場合、基盤モデルだけでなく高速化構成全体の比較になります。

代表的な処理を一つ選び、同じ文書・質問・ツール・出力上限を両モデルに使います。短い対話で動作と回答精度を確認し、その後実際の文書長とツール呼び出しを加えます。最初のトークンまでの時間、生成速度、全工程時間、VRAM最大値、失敗数を記録してください。回答が異なる場合は同じ評価表で採点し、速度と品質を合わせて比べます。

どちらを選ぶか

段階が多く、ツール結果をもとに次の行動を選ぶ処理では、使用するツール形式で安定して呼び出せるかと全工程時間を優先します。公開測定でBoltがQwen3.8-27BよりAA-AgentPerf Localを短時間で完了した点は候補選定に役立ちますが、ツールが異なればそのまま当てはまりません。ファイル編集やウェブ取得を行う自動化はサンドボックスで試します。

短いコード補完を繰り返す、または一定の入力にすばやく回答を生成する作業では、TPSと最初のトークンまでの時間を別々に測ります。公開表ではQwen3.6とGemma4のTPSがBoltより高い結果でした。入力長とGPU構成を揃えて繰り返し測定すると、自分の処理に適した結果が分かります。

よくある質問

この記事で最初に確認すべきことは何ですか？

NVIDIAのRTX Spark測定におけるNemotron BoltとQwen3.8-27Bのtoken処理量・agentタスク再生時間を比較し、自分のプロンプトとツールで試す方法を説明します。

必要なメモリはどのくらいですか？

各モデルを公式配布元から取得し、Qwen3.8-27Bの量子化とDFlash設定は公開表と同じ名称に合わせます。BoltでもIQ2_XXSとLiLiCorrを使うか記録します。各構成のファイル容量、ランタイム版、メモリ使用量を残せば再現しやすくなります。drafterが異なる場合、基盤モデルだけでなく高速化構成全体の比較になります。

要点

1. Boltはllama.cppとIQ2_XXS GGUF、Super VLはDGX SparkのvLLMとNVFP4を使います。
2. 公開されたacceptance lengthとtokens/sは、対象と条件が異なる指標です。

LiLiCorrはつながる候補を選ぶ

並列ドラフトモデルは複数の位置で次トークンの候補を一度に提案します。LiLiCorr は候補間のつながりを採点し、target モデルが検証する経路を選びます。[LiLiCorr の手法](https://research.nvidia.com/labs/nemotron/lilicorr/)

速度向上の度合いは drafter と target の組み合わせ、入力文体、同時リクエスト数によって変わります。Bolt は llama.cpp、Super VL は vLLM で動かすため、それぞれの設定を使います。

• DGX Spark 128GBのローカルLLM基準
• コンテキスト長・RoPE・スライディングウィンドウ
• GGUFとMLX、ダウンロードするモデル形式の選び方
• Nemotron 3.5 Super VLをDGX Spark・RTX PRO 6000で使うには？
• ReplaySSMとは？Nemotron・Qwenサーバーの生成を速くする仕組み

Bolt：llama.cppでGGUFドラフターを指定

Bolt 74B-A9B では target GGUF と LiLiCorr drafter GGUF の両方を用意します。`--spec-type draft-dflash` と `--spec-draft-model` オプションで llama.cpp server に接続します。

NVIDIA は RTX Spark 128GB または VRAM 48GB 以上の GeForce RTX 向けに 32GB recipe を提示しています。この設定は context 262,144、同時 sequence 1 件、draft 最大 7 トークンです。

RTX Spark 64GB または VRAM 32GB 以上には、context 65,536、sequence 1 件、draft 最大 6 トークン、Q8_0 KV cache を使う 28GB recipe が案内されています。[Bolt GGUF モデルカードと recipes](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF/blob/main/README.md)

target GGUFとLiLiCorr drafter GGUFをダウンロードします。最初のコードのパスを実際のファイル位置に置き換え、同じshellで実行してください。両方の環境変数を設定したら、次のコマンドでファイルを組み合わせます。context・cache・draft tokenの設定はGPUに合うモデルカードのrecipeを適用してください。

export BOLT_GGUF="/absolute/path/to/target.gguf"
export LILICORR_GGUF="/absolute/path/to/lilicorr-drafter.gguf"

llama-server -m "$BOLT_GGUF" \
  --spec-type draft-dflash \
  --spec-draft-model "$LILICORR_GGUF" \
  --host 127.0.0.1

Super VL：DGX SparkでvLLM LiLiCorrを使う

DGX Spark（GB10）では NVIDIA の Super VL LiLiCorr profile を使用します。vLLM コンテナ内で NVFP4 target と別個の `...NVFP4-LiLiCorr` drafter を実行します。

NVIDIA の設定は、同時 sequence 1 件、draft 7 トークン、GPU メモリ使用率 0.75、batched tokens 8,192 です。vLLM recipe では、この DGX Spark LiLiCorr 経路と RTX PRO 6000 の native MTP 経路が別々に記載されています。[Super VL LiLiCorr モデルカード](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4)

同じターゲットにはnative MTP経路もあります。MTPはターゲット内部の予測headを使い、LiLiCorrには別のドラフターcheckpointが必要です。speculative methodとモデル引数を混同しないでください。短いテキスト要求でAPIモデル名を確認してから画像入力や通常の同時リクエスト数を加え、メモリ使用量と完了時間を記録します。

• Bolt 74B-A9Bをllama.cppで実行

指標とworkloadを合わせて読む

NVIDIA の研究では、同じデータで学習した vanilla DFlash と比べて、LiLiCorr の acceptance length が 9～19%、greedy decoding throughput が 4～13% 高かったと報告されています。Qwen3 4B・8B などを H100 で比較した結果です。

Super VL LiLiCorr カードの SPEED-Bench では、draft length 7、プロンプト 880 件、同時リクエスト 64 件、3 seed の平均で、acceptance length は temperature 0 で 4.74、temperature 1 で 4.36 でした。

ここでの 64 はベンチマークの負荷です。DGX Spark の serving recipe は `--max-num-seqs 1` を設定します。Acceptance length は平均受理トークン数を意味します。

[研究結果](https://research.nvidia.com/labs/nemotron/lilicorr/) · [モデルカードの測定表](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr)

Boltには別のノートPC実測があります。RTX Spark搭載の128GB Surface Laptop UltraでWindows 11 ARMとllama.cppを使い、Bolt IQ2_XXS + LiLiCorrはAIPerf SPEED-Bench-Codingで83.99 TPS、AA-AgentPerf Local replayで600.80秒でした。この値はそのBolt構成とworkloadの結果です。[Bolt測定条件](https://research.nvidia.com/labs/nemotron/Nemotron-3.5-Bolt-24GB/)

よくある質問

この記事で最初に確認すべきことは何ですか？

LiLiCorrは次トークン候補間のつながりを評価し、ターゲットモデルに渡すドラフト経路を選ぶspeculative decoding用ドラフターです。必要なdrafterファイルと設定はtarget・runtimeごとに異なります。Boltはllama.cpp用GGUFの組み合わせ、Super VLはDGX SparkのvLLM用の組み合わせを使うため、ファイル準備、コマンド、公開指標を分けて説明します。

必要なメモリはどのくらいですか？

NVIDIA は RTX Spark 128GB または VRAM 48GB 以上の GeForce RTX 向けに 32GB recipe を提示しています。この設定は context 262,144、同時 sequence 1 件、draft 最大 7 トークンです。

選ばないほうがよいのはどのような場合ですか？

同じターゲットにはnative MTP経路もあります。MTPはターゲット内部の予測headを使い、LiLiCorrには別のドラフターcheckpointが必要です。speculative methodとモデル引数を混同しないでください。短いテキスト要求でAPIモデル名を確認してから画像入力や通常の同時リクエスト数を加え、メモリ使用量と完了時間を記録します。

条件と出典はどこで確認できますか？

RTX Spark 64GB または VRAM 32GB 以上には、context 65,536、sequence 1 件、draft 最大 6 トークン、Q8_0 KV cache を使う 28GB recipe が案内されています。[Bolt GGUF モデルカードと recipes](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF/blob/main/README.md)

要点

1. DGX Spark用LiLiCorrとRTX PRO 6000用MTPは別のコマンド経路です。
2. NVFP4 vLLMのcontext割り当てはSparkが114,688、PRO 6000が16,384です。

何を入力し、何を受け取る？

Super VLはテキスト・画像・動画から抽出したフレームを入力できるvision-languageモデルです。文書の表や画面を画像として送り、テキスト回答を受け取れます。モデルカードではMP4動画は最大2分です。画像・動画要求では視覚トークンやフレームもcontextを使うため、小さな入力から確認してください。

Mamba-2、MoE、attention層にC-RADIO encoderとvision-language connectorを組み合わせています。NVFP4のweight indexは75.01GBで、vLLMレシピは20%の余裕を含めて最低91GBと算出しています。これは重み読み込みの基準であり、context、batch size、メディアフレーム設定には追加メモリが必要です。[ハードウェア別vLLMレシピ](https://recipes.vllm.ai/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4)

• DGX Spark 128GBのローカルLLM基準
• MoEとDenseの違い：活性パラメータが小さくてもメモリが必要な理由
• 複数のGPUでローカルLLMを動かすには
• LiLiCorrとは？BoltとSuper VLのspeculative decoding
• RTX SparkノートPC、DGX Spark・MacBook Proと何が違う？

DGX Spark経路：LiLiCorrと一緒に実行

DGX Spark（GB10）で NVIDIA の vLLM クイックスタートを使う場合は、公式の `vllm/vllm-openai:v0.32.0` または案内されている nightly コンテナを先に起動します。以下の `vllm serve` コマンドはコンテナ内のターミナルで入力します。NVFP4 target と別個の LiLiCorr drafter を指定して実行します。

設定値は GPU 使用率 0.75、batched tokens 8,192、同時 sequence 1 件、draft 7 トークンです。[NVIDIA Super VL モデルカード](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4) · [公式 vLLM コンテナイメージ](https://hub.docker.com/r/vllm/vllm-openai/)

コンテナの最初のシェルでサーバーを起動し、モデル読み込みとカーネルのコンパイルを待ちます。サーバーを動かしたまま同じコンテナに別のシェルを開き、次の確認コマンドを実行してください。モデル一覧に`nemotron-3.5-super-vl`が表示されればAPIの準備ができています。コンテナと詳細オプションはモデルカードのquick-startに従って用意します。

export MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4
export DRAFT_MODEL=nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr
vllm serve "$MODEL" \
  --host 127.0.0.1 \
  --served-model-name nemotron-3.5-super-vl \
  --max-num-seqs 1 \
  --trust-remote-code \
  --gpu-memory-utilization 0.75 \
  --max-num-batched-tokens 8192 \
  --speculative_config.model "$DRAFT_MODEL" \
  --speculative_config.num_speculative_tokens 7 \
  --speculative_config.method dflash \
  --mamba-backend flashinfer \
  --mamba-ssm-cache-dtype float16 \
  --enable-mamba-cache-stochastic-rounding \
  --mamba-cache-philox-rounds 5 \
  --enable-mamba-shared-prefix-checkpoint \
  --video-pruning-rate 0.5 \
  --media-io-kwargs '{"video": {"fps": 2, "num_frames": 256}}' \
  --block-size 64 \
  --prefix-match-unit 64 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3

curl --fail http://127.0.0.1:8000/v1/models

RTX PRO 6000経路：NVFP4にnative MTP 5を設定

vLLM cookbook には RTX PRO 6000 Blackwell 1 基用の NVFP4 profile があります。設定は tensor parallel 1、pipeline parallel 1、data parallel 1、max model length 16,384、同時 sequence 最大 128 です。

この profile は target 内の MTP draft 5 を使います。別個の LiLiCorr drafter を指定する DGX Spark の経路とは異なります。[RTX PRO 6000 単体用 profile とコマンド](https://recipes.vllm.ai/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4)

recipeページのRTX PRO 6000 profileはテキストworkloadとして示されています。画像・動画を使う場合は、対象GPUとmedia modeが明記されたレシピを確認してください。テキスト設定だけのコマンドでマルチモーダル対応を想定しないでください。profileのsequence数とcontext設定から始め、実際の入力で確認します。

vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \
  --host 127.0.0.1 \
  --served-model-name nemotron-3.5-super \
  --trust-remote-code \
  --tensor-parallel-size 1 \
  --pipeline-parallel-size 1 \
  --data-parallel-size 1 \
  --max-model-len 16384 \
  --max-num-seqs 128 \
  --speculative_config.method mtp \
  --speculative_config.num_speculative_tokens 5 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder \
  --reasoning-parser nemotron_v3

比較では入力形式と上限をそろえる

このガイドのDGX Spark LiLiCorrとRTX PRO 6000 native MTPは、異なる機器向けの公開recipeです。両者の比較には機器とcontext割り当ての差も含まれます。LiLiCorrとMTPの効果だけを見るには、同じhardwareとruntimeでtarget、入力、sampling、context、同時リクエスト数を固定して測定してください。

1Mはモデルのcontext最大値です。公開quick startやhardware profileでは、より小さい割り当てを使います。画像要求は小さなPNG一枚で確認してから文書ページを増やします。動画はカードの2 FPS・最大256フレームを基準に、クリップ長と解像度を調整してください。[Super VL APIとmedia入力例](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4)

表のcontextとspeculative設定は、vLLM cookbookに記載された各hardware profileの値です。

よくある質問

この記事で最初に確認すべきことは何ですか？

Nemotron 3.5 Super VLは120B total/12B activeのマルチモーダルMoEモデルで、テキスト・画像・動画フレームを入力し、テキストを返します。公開vLLM経路は異なり、DGX SparkはLiLiCorr、単一RTX PRO 6000のレシピはNVFP4とnative MTP 5 draft tokensを使います。contextの割り当てと入力経路を分けて説明します。

必要なメモリはどのくらいですか？

Mamba-2、MoE、attention層にC-RADIO encoderとvision-language connectorを組み合わせています。NVFP4のweight indexは75.01GBで、vLLMレシピは20%の余裕を含めて最低91GBと算出しています。これは重み読み込みの基準であり、context、batch size、メディアフレーム設定には追加メモリが必要です。[ハードウェア別vLLMレシピ](https://recipes.vllm.ai/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4)

選ばないほうがよいのはどのような場合ですか？

recipeページのRTX PRO 6000 profileはテキストworkloadとして示されています。画像・動画を使う場合は、対象GPUとmedia modeが明記されたレシピを確認してください。テキスト設定だけのコマンドでマルチモーダル対応を想定しないでください。profileのsequence数とcontext設定から始め、実際の入力で確認します。

条件と出典はどこで確認できますか？

設定値は GPU 使用率 0.75、batched tokens 8,192、同時 sequence 1 件、draft 7 トークンです。[NVIDIA Super VL モデルカード](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4) · [公式 vLLM コンテナイメージ](https://hub.docker.com/r/vllm/vllm-openai/)

要点

1. RTX SparkはWindows on ArmとCUDA、DGX SparkはDGX OS/Linux、MacBook ProはmacOSです。
2. 128GBはSurface最上位SKUの値で、GPUが全量を使える意味ではありません。

RTX SparkノートPCと最大仕様

RTX Spark ノート PC は、Windows on Arm、Grace CPU、Blackwell RTX GPU、ユニファイドメモリを備えたプラットフォームです。Microsoft が公開した Surface Laptop Ultra の最大構成は、15 インチ画面、最大 20 コアの Grace CPU、最大 6,144 個の Blackwell GPU コア、最大 128GB のユニファイドメモリです。

AI 性能の最大値は FP4 と sparsity を適用した理論値です。実際の処理時間は、使用する runtime、モデル、入力をそろえて測定します。[Surface の発表と SKU 仕様](https://blogs.windows.com/devices/2026/10/07/pre-order-our-most-powerful-surface-devices-ever/)

GPU が使用できるメモリは、システムのユニファイドメモリ 128GB 全体より少なくなります。モデルの重みや KV cache のほか、Windows、ブラウザー、IDE、画像・動画フレームも同じメモリプールを共有します。

製品 SKU の総メモリと GPU が使用できるメモリを区別し、モデル recipe の最小メモリ要件と context の割り当ても確認します。

• DGX Spark 128GBのローカルLLM基準
• コンテキスト長・RoPE・スライディングウィンドウ
• GGUFとMLX、ダウンロードするモデル形式の選び方
• ローカルLLMに必要なVRAM・ユニファイドメモリ容量

DGX Spark・MacBook Proと比較して選ぶ

3つのプラットフォームでは、ローカル推論という共通点よりOSとruntimeの互換性が選択を左右します。ノートPCでCUDAとWindows制作アプリを使うならRTX Spark、LinuxとNVIDIA serving recipeを中心とするデスクトップならDGX Spark、macOSアプリとMLX・Core ML中心ならMacBook Proの構成を確認します。

MacBook Proのメモリ構成はchipによって異なります。NVIDIAとAppleの数値は各社のplatform仕様であり、性能比較ではありません。

AppleはMacBook Proのunified memory容量がchipとGPU SKUで異なると案内しています。2026年M5 Pro/M5 Max仕様では、40-core GPUのM5 Max構成は最大128GB、M5 Pro構成は最大64GBです。MacではMLXやCore MLなどアプリが対応するモデル形式、RTX SparkではWindows on Arm・CUDA経路を確認して選びます。[Apple MacBook Pro仕様](https://www.apple.com/macbook-pro/specs/)

Windows on Armとアプリの版を確認

Windows には Arm64 アプリと Prism 経由で動作する x86 アプリがあります。NVIDIA と Microsoft は RTX Spark で CUDA と開発ツールをサポートすると発表しました。使用するパッケージ、プラグイン、コンテナが Windows on Arm の CUDA 経路に対応するか、各製品のドキュメントで確認します。

x86 のコマンドラインアプリが動作しても、CUDA 拡張やドライバーが同じように動作するとは限りません。[RTX Spark の Windows 開発環境](https://blogs.windows.com/windowsexperience/2026/05/31/introducing-a-powerful-new-chapter-for-windows-pcs-accelerated-by-nvidia-rtx-spark/)

2026年10月16日のRTX SparkノートPC発売は、地域やSKUによって入手状況が異なる場合があります。発表メーカー一覧から候補を探し、最終判断は製品ページのメモリ、ストレージ、画面・熱設計、Armアプリ互換性で行います。[NVIDIA COMPUTEXプラットフォーム発表](https://www.nvidia.com/en-us/geforce/news/computex-2026-nvidia-geforce-rtx-announcements/)

購入前：正確なSKUとアプリ対応を確認

購入前に使うモデルのcheckpoint容量、必要なcontext、画像・動画入力の有無を決め、候補SKUのGPU利用可能メモリと照らし合わせます。モデルとアプリのWindows Arm64・CUDA対応も各ドキュメントで確認してください。実際の要求を使う試験は購入後に行い、展示機を使える場合は事前に試してもよいでしょう。

公開されている Surface Laptop Ultra の仕様は、発表済み RTX Spark ノート PC の中で確認できる最大構成の例です。他の RTX Spark モデルは同じプラットフォームを使っていても、メモリ、ディスプレイ、バッテリー、冷却構成が異なる場合があります。

購入する製品の正確な注文 SKU とメーカー仕様に基づいて、メモリと AI 作業性能を比較します。

• Super VLをDGX Spark・RTX PRO 6000で設定
• BoltのGPU別メモリと実行レシピ

購入後：使うモデルとworkloadで実行を確かめる

NVIDIA は Windows 11 ARM と llama.cpp を使い、128GB の Surface Laptop Ultra で Bolt IQ2_XXS と LiLiCorr を測定しました。AIPerf SPEED-Bench-Coding の結果は 83.99 TPS で、同じテストの AA-AgentPerf Local の再生時間は 600.80 秒でした。

これは公開された RTX Spark ノート PC の数値のうち、実際のモデルと runtime の組み合わせ例です。DGX Spark や MacBook Pro の測定値とは分けて比較します。[Bolt のテスト条件](https://research.nvidia.com/labs/nemotron/Nemotron-3.5-Bolt-24GB/)

機器を受け取ったら使用予定のcheckpointを用意し、同じ短い要求を繰り返して初回読み込みと以後の応答を分けて確認します。次に普段のアプリを開き、context、画像解像度、動画フレームを増やしながらGPUメモリ、完了時間、ファン音、電源状態を記録します。MacBook Proとの比較でもモデル、量子化、context、要求をそろえると実作業の判断材料になります。

よくある質問

この記事で最初に確認すべきことは何ですか？

RTX SparkノートPCは、CUDA対応Blackwell GPUとCPU・GPU共有メモリを備えるWindows on Armプラットフォームです。DGX SparkはLinuxベースのデスクトップAIシステム、MacBook ProはmacOSとApple SiliconのMLX・Core MLエコシステムを使います。購入するSKUでGPUが利用できるメモリと、必要なアプリ・モデルレシピで比較します。

必要なメモリはどのくらいですか？

RTX Spark ノート PC は、Windows on Arm、Grace CPU、Blackwell RTX GPU、ユニファイドメモリを備えたプラットフォームです。Microsoft が公開した Surface Laptop Ultra の最大構成は、15 インチ画面、最大 20 コアの Grace CPU、最大 6,144 個の Blackwell GPU コア、最大 128GB のユニファイドメモリです。

要点

1. 総560Bのうち、トークンごとに25Bを有効化します。
2. 公式SGLang例は8基のH200または4基のGB300を使います。

Ling 3.1 Flashの役割

Ling 3.1 Flashはテキスト入力から回答を生成する言語モデルで、コーディングやエージェント処理に使えます。総560Bパラメータのうちトークンごとに25Bを有効化し、最大100万トークンの文脈に対応します。公式FP8チェックポイントのファイル一覧は約574GBです。[モデルカードとファイル一覧](https://huggingface.co/inclusionAI/Ling-3.1-flash/tree/main)

コンテキスト長は、モデルが一度に処理できる入力の上限です。長い文書ほど KV cache と推論エンジンにも多くのメモリが必要です。使用できる GPU メモリと文書の長さを確認し、作業に必要なコンテキスト長を設定します。

• コンテキスト長・RoPE・スライディングウィンドウ
• MoEとDenseの違い：活性パラメータが小さくてもメモリが必要な理由
• 複数のGPUでローカルLLMを動かすには
• 12GB GPUで125Bモデルを実行？Strataの仕組み

公式レシピと574GBチェックポイントを基準に準備します

公式の SGLang クイックスタートでは、H200 8 基で TP8・EP8、または GB300 4 基で TP4・EP4 を構成します。モデルファイルは約 574 GB で、推論時にはコンテキスト長に応じて KV cache とランタイム用のメモリも必要です。ストレージと GPU 構成を確認し、実際のリクエストに合わせてコンテキスト長を設定します。[SGLang の実行ガイド](https://huggingface.co/inclusionAI/Ling-3.1-flash)

テンソル並列(TP)は計算をGPU間に分割し、エキスパート並列(EP)はMoEの専門家を複数GPUに配置します。下の表で公式構成に合う設定を確認し、実際の文脈長に応じたKVキャッシュと余裕メモリも見込んでください。

サーバーを起動して最初のリクエストを送る

まずモデルカードに従ってSGLangコンテナを取得します。次のコマンドは8基のH200向けで、同じPCからの接続に限定するため公式例の`0.0.0.0`ではなく`--host 127.0.0.1`を使います。他のPCから接続できるようにする場合は、ネットワーク制御と認証を設定してください。約574GBのチェックポイントをコンテナ削除後に再ダウンロードせずに済むよう、Hugging Faceキャッシュをホスト側のストレージにマウントします。[キャッシュの保存先](https://huggingface.co/docs/huggingface_hub/en/package_reference/environment_variables)

docker pull lmsysorg/sglang:dev-ling-3.1-flash
mkdir -p "$HOME/.cache/huggingface"

docker run --gpus all --network host --ipc=host --rm \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  lmsysorg/sglang:dev-ling-3.1-flash \
  python3 -m sglang.launch_server \
    --model-path inclusionAI/Ling-3.1-flash \
    --tp 8 --ep 8 \
    --speculative-algorithm NEXTN \
    --host 127.0.0.1 --port 30000

サーバーの準備ができたら `http://127.0.0.1:30000/v1/chat/completions` にリクエストを送ります。OpenAI 互換 API ではモデル ID `Ling-3.1-flash` を使い、`enable_thinking`、temperature、top-k、top-p の設定はモデルカードの例を参考にします。

まず短いテキストを送り、応答を確認します。その後、実際の文書の長さとツール呼び出しを試します。応答がなければ、コンテナログでモデル読み込みエラーや GPU メモリ不足を確認します。[公式の実行ガイド](https://huggingface.co/inclusionAI/Ling-3.1-flash)

curl -s http://127.0.0.1:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"Ling-3.1-flash","messages":[{"role":"user","content":"짧은 요약을 한 문장으로 써 주세요."}],"chat_template_kwargs":{"enable_thinking":true},"temperature":1.0,"top_k":20,"top_p":0.95,"stream":true}'

• ローカルAIサービングエンジンの比較

10月19日版で変わったこと

10月19日の日付が付いた版（Ling-3.1-flash-1019）が公開されました。構造と文脈長はそのままで、後処理学習が変わりました。総560B・活性25B、1Mの文脈、8×H200の構成も従来どおりです。

点数はこう上がりました。Artificial Analysisの知能指数が41から44、AA-Briefcaseが1400から1524 Elo、AutomationBenchが62%から68%、CritPtが18%から26%、SciCodeが54%から57%です。

日付付きの版は前の版と混ざりやすいです。起動時に--model-pathがどの版を指すか、取得済みキャッシュがどのリビジョンかを確認してください。

自分の用途に合うか判断する

長いコンテキストやコーディング・エージェント機能が必要か確認するには、代表的な作業を決め、同じ文書と出力長で繰り返します。最初のトークンまでの時間と全体の完了時間を記録すると、1M コンテキストや推論オプションが実作業に役立つか判断できます。公開ベンチマークの処理量は、測定時のデバイスと条件に基づきます。

チームにAPIを提供する前に、アクセスできる利用者とリクエスト・サーバーログの保存範囲を決めます。社内文書で試す場合は、資料を利用できる範囲も確認してください。

よくある質問

この記事で最初に確認すべきことは何ですか？

Ling 3.1 Flashは総560B、トークンごとに25Bを有効化するMoE言語モデルです。公式SGLangレシピは574GBのFP8チェックポイントを8基のH200または4基のGB300で実行します。

必要なメモリはどのくらいですか？

コンテキスト長は、モデルが一度に処理できる入力の上限です。長い文書ほど KV cache と推論エンジンにも多くのメモリが必要です。使用できる GPU メモリと文書の長さを確認し、作業に必要なコンテキスト長を設定します。

条件と出典はどこで確認できますか？

Ling 3.1 Flashはテキスト入力から回答を生成する言語モデルで、コーディングやエージェント処理に使えます。総560Bパラメータのうちトークンごとに25Bを有効化し、最大100万トークンの文脈に対応します。公式FP8チェックポイントのファイル一覧は約574GBです。[モデルカードとファイル一覧](https://huggingface.co/inclusionAI/Ling-3.1-flash/tree/main)

要点

1. テキスト・画像・動画・音声を入力し、テキストを出力します。
2. Appleの測定は8,192トークンの文脈でM5 Ultra 2台または4台を使っています。

どんな入力を受け取り、何を返しますか？

Muse Spark Openはテキスト・画像・動画・音声を入力し、テキストで回答するマルチモーダル言語モデルです。総816B、トークンごとの有効パラメータは42Bで、推論時に最大100万トークンの文脈を扱えます。コーディングやエージェント処理向けですが、ローカル実行を検討する際は、重みと実行時の余裕を確保できる機器があるか先に確認します。[Metaモデルカード](https://huggingface.co/meta-models/Muse-Spark-Open-816B-A42B)

重みの精度と量子化でファイル容量は変わります。MetaのモデルカードはGPU配信にNVFP4で最低700GB、BF16で2TBのVRAMを示し、KVキャッシュと活性値のための追加メモリも必要と説明しています。これは大規模サーバーの要件であり、一般GPUとの適合性を示す数字ではありません。

• Mac Studio M5 Ultra 256GBの基準
• コンテキスト長・RoPE・スライディングウィンドウ
• プリフィルとデコードの違い：TTFTとtok/sのどちらを見る？
• GGUFとMLX、ダウンロードするモデル形式の選び方
• oMLXでMacのローカルAIを動かす：0.7.1rc1の新設定は？

512GBのMac 1台と複数M5 Ultraの構成を分けて考える

Meta と Apple が紹介した MLX の分散実行は、各 512GB のユニファイドメモリを備えた M5 Ultra Mac Studio 2 台を使用します。別途、oMLX 0.7.1rc1 は 370GB の oQ3e チェックポイントを、ユニファイドメモリ 512GB の M3 Ultra Mac 1 台で実行した結果を公開しています。

量子化方式と実行エンジンが異なるため、性能値を直接比較しないでください。[Apple の MLX 条件](https://machinelearning.apple.com/research/mlx-distributed-inference) · [oMLX 0.7.1rc1](https://github.com/jundot/omlx/releases/tag/v0.7.1rc1)

分散推論にはmacOS 26.2以降と、Mac間のThunderbolt 5 RDMA直接接続が必要です。まずhostfileに各Mac、Thunderbolt IP、RDMAデバイスを登録します。Metaのmlx.distributed_configの案内にhostfile.jsonの作成手順があり、既存のJACCLガイドでは接続設定から確認コマンドまで説明しています。以下のサーバーコマンドはファイルを置いたメインMacで実行してください。

mlx.launch --hostfile hostfile.json --backend jaccl \
  --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.server \
    --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
    --port 8080

下の表はAppleが8,192トークン文脈で測定したM5 Ultraの分散NVFP4 MLX結果です。単体MacのoQ3eとはモデル形式と実行エンジンが異なるため、数値を直接比較せず、それぞれの経路で自分の入力を試してください。

• JACCL接続とhostfileの準備
• Meta Muse Spark Mac設定とhostfile

512GB Mac 1台でoMLXを使う

Mac 1台では、Metaの分散NVFP4経路とは別に、oMLX 0.7.1rc1で`mlx-community/Muse-Spark-Open-816B-A42B-oQ3e`を選びます。モデルファイルは370GBで、リリースノートはM3 Ultra・512GBのMacで読み込めたと報告しています。oMLXはリリース候補版で、安定版とは異なります。[oMLXリリースノート](https://github.com/jundot/omlx/releases/tag/v0.7.1rc1)

oMLXアプリのModels > DownloaderでRecommendedタブを開き、Muse Spark Open oQ3eを選びます。ダウンロード前に370GBのファイルを保存できる空き容量を確認し、完了後にモデル一覧から読み込みます。最初は短いテキストと小さめの文脈でメモリ警告なく応答するか確認し、その後で画像や長文脈を追加してください。[モデル推奨機能](https://github.com/jundot/omlx/releases/tag/v0.7.1rc1)

このM3 Ultra・512GB・oQ3e実行について、oMLX 0.7.1rc1はプリフィル225 tok/s、デコード21.3 tok/sを報告しています。リリースノートには入力長や出力トークンなどの全条件がないため、Appleの8,192トークンM5 Ultra表と直接比較しないでください。自分の文書で複数回実行し、モデル読み込み・プリフィル・デコードを分けて記録します。

モデルが一覧にない、または読み込めない場合は、`oQ3e`を選んだか、ダウンロードが完了したか確認します。ファイルがそろっているのにメモリ警告が出る場合は他のモデルを終了し、文脈を短くして再実行してください。oMLXログの最初のエラーと、使用中バージョンの対応状況を確認します。

• oMLX 0.7.1rc1のMuse対応と測定

対応メディアとライセンス条件を確認する

Metaのモデルカードは、テキスト・画像・動画・音声を入力し、テキストで出力すると説明しています。画像・動画・音声のリクエスト形式はMLXアダプターやランタイムで異なるため、選んだ構成の資料にある例に従ってください。

重みはMuse Model Licenseで公開されています。サービスへの利用やモデルの再配布を行う前に、[ライセンス全文](https://huggingface.co/meta-models/Muse-Spark-Open-816B-A42B/blob/main/LICENSE)で該当する利用条件を確認してください。

よくある質問

この記事で最初に確認すべきことは何ですか？

Muse Spark Openは総816B・有効42Bパラメータのマルチモーダルモデルです。MetaとAppleのNVFP4 MLX経路はM5 Ultra Mac Studioを2台使い、oMLX 0.7.1rc1は370GBのoQ3eをM3 Ultra・512GBのMac 1台で実行した測定を公開しています。

必要なメモリはどのくらいですか？

重みの精度と量子化でファイル容量は変わります。MetaのモデルカードはGPU配信にNVFP4で最低700GB、BF16で2TBのVRAMを示し、KVキャッシュと活性値のための追加メモリも必要と説明しています。これは大規模サーバーの要件であり、一般GPUとの適合性を示す数字ではありません。

選ばないほうがよいのはどのような場合ですか？

量子化方式と実行エンジンが異なるため、性能値を直接比較しないでください。[Apple の MLX 条件](https://machinelearning.apple.com/research/mlx-distributed-inference) · [oMLX 0.7.1rc1](https://github.com/jundot/omlx/releases/tag/v0.7.1rc1)

条件と出典はどこで確認できますか？

Muse Spark Openはテキスト・画像・動画・音声を入力し、テキストで回答するマルチモーダル言語モデルです。総816B、トークンごとの有効パラメータは42Bで、推論時に最大100万トークンの文脈を扱えます。コーディングやエージェント処理向けですが、ローカル実行を検討する際は、重みと実行時の余裕を確保できる機器があるか先に確認します。[Metaモデルカード](https://huggingface.co/meta-models/Muse-Spark-Open-816B-A42B)

要点

1. 画像・動画・音声・テキストを一つの埋め込み空間で比較します。
2. 質問にはSearchQuery、文書にはDocumentを使います。

文書以外に写真や音声も検索するには

EmbeddingGemma 2は文章・コード・画像・動画・音声を検索用の数値ベクトルへ変換します。質問に近い文書、写真、録音を探し、検索結果の要約は別のLLMに任せられます。すべての入力は共通の768次元埋め込み空間に置かれるため、テキストで写真を探したり、説明文と音声を比較したりできます。[Googleモデルカード](https://huggingface.co/google/embeddinggemma-2)

埋め込みは原文の意味を数値配列で表したものです。意味の近い質問と資料がベクトル空間で近くなるように学習されています。たとえば返金日数を尋ねる質問から「決済取消後、営業日で5日以内」という案内を探せます。韓国語の検索品質は分野や表現で変わるため、自分の資料で評価してください。

• oMLXでMacのローカルAIを動かす：0.7.1rc1の新設定は？
• Jev-Omniとは？画像・音声・動画から答えを選ぶローカルAI
• ローカルLLMの実行ソフト、何から使えばいい？
• DeepSeek Search・Fetch API：ローカルLLMにウェブ検索を付ける
• ローカルRAG回答が間違っている場合：検索・チャンク・モデル診断手順
• ローカルLLM・RAG品質評価：DeepEvalに変更された設定を確認する

文書を分けてテキスト検索から始める

文書全体を一つにせず、FAQの一項目やマニュアルの一節など、単独で読める大きさに分けます。文書ID・タイトル・本文・原文の位置を保存すると、検索結果を開いて根拠を確認できます。表やコードの意味が分断されない分割基準を決めましょう。

以下のインストールコマンドはmacOS・Linuxのbash/zsh向けです。Windows PowerShellでは仮想環境を作り、`.\.venv\Scripts\Activate.ps1`で有効化します。パッケージのインストールと例の実行も同じ仮想環境で行います。

テキストだけを検索する場合は、画像・音声エンコーダーを無効にして270Mのテキスト構成を読み込めます。質問には`SearchQuery`、検索対象の文書には`Document`プロンプトを使います。タイトル付きの文書は`title: タイトル | text: 内容`の形式で表します。[公式開発者ガイド](https://developers.googleblog.com/embeddinggemma-2-the-developer-guide/)

python -m venv .venv
source .venv/bin/activate
python -m pip install -U sentence-transformers transformers

from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"vision_config": None, "audio_config": None},
)
documents = [
    "title: 환불 처리 | text: 결제 취소 후 영업일 기준 5일 이내에 환불됩니다.",
    "title: 배송 변경 | text: 주문 준비가 시작되기 전까지 배송지를 바꿀 수 있습니다.",
]
query = "환불은 며칠 안에 되나요?"
doc_vectors = model.encode(documents, prompt_name="Document", normalize_embeddings=True)
query_vector = model.encode(query, prompt_name="SearchQuery", normalize_embeddings=True)
scores = model.similarity(query_vector, doc_vectors)[0]
for index in scores.argsort(descending=True).tolist():
    print(f"{scores[index]:.3f}\t{documents[index]}")

コードを`search.py`として保存し、同じ仮想環境で実行します。2つの文書とスコアが表示され、返金案内が先頭なら検索できています。自分の資料から質問と正解文書の組を作り、正解が上位に入るか確認して文書分割やタイトルを調整します。

python search.py

テキスト索引にマルチモーダル質問を加えます

同じEmbeddingGemma 2 checkpoint・task設定・次元で互換性がある画像・音声queryなら既存索引を利用できます。QwenやBGEなど別modelのvectorをそのまま混在できる意味ではありません。

写真や録音を検索する場合、元file path・caption・録音日をmetadataとして保存します。vectorは原本fileの代わりにならないため、結果を開ける識別子が必要です。

テキスト質問で写真や音声を探す

まず作業フォルダーに`photos/lake.jpg`、`photos/street.jpg`、`recordings/meeting.wav`を用意するか、コードのパスを実際のファイル位置に変更します。マルチモーダルエンコーダーとメディア処理ライブラリをインストールした後、写真は`image`キー、録音は`audio`キーを使う辞書で`encode()`に渡します。次の例では説明文と2枚の写真の埋め込みを比べ、類似度順に並べます。

python -m pip install -U sentence-transformers transformers pillow soundfile torchcodec

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("google/embeddinggemma-2")
query = model.encode("눈 덮인 산과 호수가 보이는 풍경", prompt_name="SearchQuery")
photos = [{"image": "photos/lake.jpg"}, {"image": "photos/street.jpg"}]
photo_vectors = model.encode(photos)
scores = model.similarity(query, photo_vectors)[0]
print(scores.argsort(descending=True).tolist())

音声は`model.encode({"audio": "recordings/meeting.wav"})`のようにパスを渡し、テキスト質問と比較します。次の例では、会議の録音に近い質問を類似度順に並べます。音声は内部で16 kHzに変換されます。動画は毎秒1フレームを標準でサンプリングするため、より細かい場面検索にはフレーム数を調整してください。[Googleのマルチモーダル例](https://ai.google.dev/gemma/docs/embeddinggemma/multimodal-embeddinggemma-with-sentence-transformers)

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("google/embeddinggemma-2")
audio = model.encode({"audio": "recordings/meeting.wav"})
queries = [
    "회의 일정을 언제로 정했나요?",
    "환불은 며칠 안에 되나요?",
]
query_vectors = model.encode(queries, prompt_name="SearchQuery")
scores = model.similarity(audio, query_vectors)[0]
for index in scores.argsort(descending=True).tolist():
    print(f"{scores[index]:.3f}\t{queries[index]}")

text-onlyとfull multimodal構成を区別します

公式cardはtext-only選択loadを270M、text・vision・audio encoderを含む構成を740Mとしています。必要なmodalityだけを有効にし、library optionと実memory使用量を記録します。

以前のEmbeddingGemma紹介にあるfull model仕様をtext-only経路のmemory要件として読まないでください。初回は重みをdownloadし、text検索比較には公式text-only設定を使います。

ベクトルの次元数とライセンスを確認する

EmbeddingGemma 2の標準出力は768次元です。Sentence Transformersのtruncate_dimで512・256・128次元に短縮するとインデックス容量を減らせますが、検索品質も確認してください。Googleは256次元まで標準に近い品質を示し、128次元はテキスト専用の用途に推奨しています。質問と文書は同じ次元でエンコードし、短縮後に再正規化してください。

次元数を変えたら、保存済み文書も新しい次元で再エンコードしてインデックスを作り直してください。質問と文書は同じ次元を使います。このモデルはApache 2.0ライセンスで、条件に従って利用・改変・再配布できます。再配布時はライセンスと著作権表示を保持してください。[モデルカードとライセンス](https://huggingface.co/google/embeddinggemma-2)

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("google/embeddinggemma-2")
query = "환불은 며칠 안에 되나요?"
document = "title: 환불 처리 | text: 결제 취소 후 영업일 기준 5일 이내에 환불됩니다."
query_vector = model.encode(
    query, prompt_name="SearchQuery", truncate_dim=256, normalize_embeddings=True
)
document_vector = model.encode(
    document, prompt_name="Document", truncate_dim=256, normalize_embeddings=True
)
print(model.similarity(query_vector, document_vector))

query指示とdocument形式を合わせます

text検索では質問に`task: search result | query: ...`を付け、文書は`title: ... | text: ...`形式にします。image・video・audioにはtext prefixを付けません。titleがない場合は`title: none`です。

公式Sentence Transformers例は`SearchQuery`・`Document` task名で対応するpromptを適用します。library promptか手動prefixのどちらかを選び、二重適用を避けます。

実行時エラーとメモリ不足を確認する

`ModuleNotFoundError`が出たら、`search.py`を実行するPythonがパッケージを入れた仮想環境と同じか確認します。`python -m pip show sentence-transformers`で確認し、必要なら環境を有効化して再インストールします。

画像や音声を開けない場合は、相対パスが現在の作業フォルダーを基準に正しいか確認します。絶対パスを試すとパスの問題とモデルの問題を切り分けやすくなります。メモリ不足ならテキスト専用構成に戻すか、他のアプリやモデルを終了して再実行してください。

folder indexを差分更新して容量を測ります

file ID・hash・更新時刻を保存し、変更された文書・mediaだけ再埋め込みし、削除fileのvectorを除去します。写真・音声folderではcaptionを原本fileへ結びます。

128・256・512・768次元への短縮はraw vector容量を減らせますが品質も変わる場合があります。同じ質問で順位を比較し、raw配列だけでなくDB index・metadataを含むfolder全体の容量で判断します。

modality別検索と原本確認を分けます

text→image・image→text・audio→textなど実際に使う方向ごとに質問を分け、正解file IDが上位k件に入るか記録します。1方向の結果は他の組み合わせを保証しません。

検索した文書・写真・録音を開いて根拠を確認し、検索漏れとparse・caption誤りを分けます。本ガイドは読者のfileを実行した実測を示さないため、自分の資料で精度・遅延・memoryを測ります。

よくある質問

この記事で最初に確認すべきことは何ですか？

EmbeddingGemma 2はテキスト・コード・画像・動画・音声を共通の768次元埋め込みへ変換します。検索用ベクトルを作り、結果の要約は別のLLMに任せられます。

必要なメモリはどのくらいですか？

公式cardはtext-only選択loadを270M、text・vision・audio encoderを含む構成を740Mとしています。必要なmodalityだけを有効にし、library optionと実memory使用量を記録します。

条件と出典はどこで確認できますか？

EmbeddingGemma 2は文章・コード・画像・動画・音声を検索用の数値ベクトルへ変換します。質問に近い文書、写真、録音を探し、検索結果の要約は別のLLMに任せられます。すべての入力は共通の768次元埋め込み空間に置かれるため、テキストで写真を探したり、説明文と音声を比較したりできます。[Googleモデルカード](https://huggingface.co/google/embeddinggemma-2)

要点

1. 最近の入力をため、定期的に基準状態へ反映して書き込みを減らします。
2. 採用された候補入力だけを残し、speculative decodingの巻き戻しを処理します。
3. 大きなbatchの通常decodeでは、kernelとステップ全体の改善率が異なりました。

状態を毎回保存する代わりに最近の入力をためます

SSM層は新しいトークンを処理すると、過去の状態へ情報を反映します。同時リクエストが増えると、会話ごとの状態を読み書きする量も増えます。ReplaySSMは基準状態のcheckpointを持ち、最近の入力を小さなbufferへためます。両方から出力を計算し、bufferがいっぱいになると入力をまとめてcheckpointへ反映します。

NemotronやQwenのハイブリッドモデルにはSSMとattentionが共存します。ReplaySSMが減らすのはSSM状態の読み書きです。重みの量子化と併用できますが、ファイル容量を減らす設定は別に選びます。

• ReplaySSM論文とアルゴリズム
• GGUFとMLX、ダウンロードするモデル形式の選び方
• 複数のGPUでローカルLLMを動かすには
• Qwen3.8-Flash-NextのPLEオフロード：RAM・SSDの条件と実行手順
• プリフィルとデコードの違い：TTFTとtok/sのどちらを見る？

MTP候補を検証した後の巻き戻しも軽くなります

MTPや別のdrafterが複数候補を出すと、本モデルは先頭から採用できる部分を決めます。残りを捨てた後は会話の状態も採用トークンへ合わせます。ReplaySSMは最近の入力bufferの末尾を調整して採用部分だけを残し、候補ごとに大きな状態のコピーを保存する負担を減らします。

これはエンジン内部の状態計算と保存を変える最適化です。LiLiCorrは採用されやすい候補を作る側を改善します。候補の採用長と状態検証のコストを分けて記録すると、どの変更が役立ったか分かりやすくなります。

• LiLiCorrのdrafterを知る

1リクエストと大きなbatchでは結果が異なりました

NVIDIAとPrincetonの研究者はMamba-2とGDNを使う4モデルをvLLMで比較しました。表はspeculative加速なしの通常decodeです。kernel単体とdecodeステップ全体の改善を分けて読むと、サーバーでの効果を把握しやすくなります。

4BはH100×1、120B級はB300×1・tensor並列なし・FP32 SSM状態・window L=16・tuned vLLM基準

公開実験の通常decodeではBatch 1で速度向上がなく、Batch 256で改善がありました。個人PCでは1リクエストのTTFTと生成速度を先に測ります。チームのサーバーでは実際の同時数を再現し、各要求の遅延と総処理量を比べます。

• NVIDIA実験のモデルとハードウェア

運用サーバーへ適用するときの比較記録

ReplaySSMはTensorRT-LLM・vLLM・FlashInferに統合されています。使用版が対象モデルのSSM処理に対応するか調べ、テストサーバーで始めます。モデル、入出力長、状態精度、drafterの設定を固定して現在のエンジンを記録し、変更後に同じ要求でTTFT、完了時間、最大メモリ、失敗回数を比較します。

個人PCの高速化なら、まず対応するMTP・DFlashや効率的な量子化を比べてください。複数エージェントが使うサーバーではReplaySSMも候補にし、混雑時の要求がどれだけ早く終わるかまで確認してから移行します。

• ReplaySSMの実装と再現資料
• MacのLightning MTP設定

よくある質問

この記事で最初に確認すべきことは何ですか？

ReplaySSMはSSM層が過去の入力を保持する方法を変える推論最適化です。基準の状態と最近の入力を分け、各トークンで大きな状態全体を書き直す処理を減らします。同時リクエストを処理するハイブリッドモデルのサーバーで検討する技術です。

必要なメモリはどのくらいですか？

ReplaySSMはTensorRT-LLM・vLLM・FlashInferに統合されています。使用版が対象モデルのSSM処理に対応するか調べ、テストサーバーで始めます。モデル、入出力長、状態精度、drafterの設定を固定して現在のエンジンを記録し、変更後に同じ要求でTTFT、完了時間、最大メモリ、失敗回数を比較します。

要点

1. 総24B・有効2.45B。重みは大きいものの、トークンあたりの計算は軽いです。
2. 公式GGUF（Q8_0）とMLX 4bitの両方が公開されています。
3. モデルカードの184 tok/sはApple M5 Maxでの測定値です。

ファイルは24B、計算は2.45Bのモデルです

LFM2.5-24B-A2Bは、質問を受けて回答を生成するテキスト推論モデルです。名前の24Bはモデルが持つ総パラメータ数、A2Bは1トークンを処理するときに実際に計算へ使う有効パラメータが約2B台であることを示します。モデルカードは有効パラメータを2.45Bと記載しています。40層のうち30層は短い畳み込みブロック、10層は通常のアテンションを使い、各MoEブロックでは64のエキスパートから4つを選びます。

この構造が実用的なのは、メモリと速度が別々に動くからです。読み込むには24B分の重み領域が必要ですが、トークン生成の速度は有効2.45Bの計算量に近づきます。同じ24Bの密モデルと比べれば同じメモリでより多くのトークンが期待でき、逆に7Bクラスの軽いメモリではこのモデルを載せられません。両方の数字を見る必要がある理由です。

韓国語に対応するローカルLLMを探すなら、対応言語の一覧と実際の韓国語品質を分けて見る必要があります。このモデルは16言語の一覧に韓国語を含め、無料利用の範囲も定めています。

• MoEとDenseの違い：活性パラメータが小さくてもメモリが必要な理由
• GGUFとMLX、ダウンロードするモデル形式の選び方
• KRAFTON Raon-1 miniのローカルLLM：韓国語30B MoEをRTX 5090 32GBで
• FlintのローカルLLM：オープンな40Bコーディングエージェントは個人PCで動くか

韓国語を含む16言語に対応しています

モデルカードは英語、アラビア語、中国語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、スペイン語、ベトナム語、タイ語、インドネシア語、ヒンディー語、ロシア語、ポーランド語を対応言語として挙げています。韓国語が含まれる点は韓国の利用者にとって重要です。ただし対応言語の一覧は学習データに含まれていたという意味で、韓国語の品質が韓国語特化の24Bモデルと同じという保証ではありません。

用途に合わせて取得するファイルを選びます

公式リポジトリは同じモデルを複数の形式で配布しています。Transformers・vLLM・SGLang向けの元チェックポイント、ブロック単位のFP8、GGUF、ONNX、Apple Silicon向けのMLX 4bitがあります。llama.cppやOllamaで動かすならGGUF、MシリーズのMacでMLX系ツールを使うならMLX 4bitを選びます。両者は互換性がありません。

ファイルサイズは形式によって大きく変わります。4bit系は元の重みより小さいものの、量子化の方式によって回答品質と速度も変わります。最初の実行でどのファイルを使ったかを記録しておけば、後で別の形式と比べるときに条件をそろえられます。

ベンダーの測定値と自分の環境の速度を区別します

モデルカードは、同規模の他のMoEより最大1.7倍速く、Apple M5 Maxで184 tok/s、NVIDIA B300 1枚で出力21K tok/sまで出るとしています。この数値はベンダーが決めた条件で測ったものです。自分の環境の速度として読むには、同じハードウェアか、どの量子化ファイルを使ったか、コンテキスト長はいくつか、考えるトークンが出力に含まれたかをまずそろえる必要があります。

推論モデルなので、同じ質問でも考えるトークンが先に出ます。体感の待ち時間を比べるには、最初の回答が出るまでの時間と全体の完了時間を別々に測ってください。考えるトークンを出力に含めるかで2つ目の数値は大きく変わります。

エージェント向けで、知識の質問には向きません

モデルカードは、このモデルをツールを呼び出して推論するエージェント向けとし、知識が多い作業には単体で勧めていません。検索やウェブツールと組み合わせるよう案内しています。議事録の要約や社内文書検索のように根拠文書がある作業は、RAGと組み合わせると力を発揮します。

公開ベンチマークはベンダーのブログとモデルカードの両方にあります。同じ表の競合モデルの数値と比べる際は、評価条件が同じか確認してください。ツール呼び出しのベンチマークはプロンプトと実行環境で結果が変わるため、自分の業務の文で一度試すほうが正確です。

ライセンスと実行条件を確認します

このモデルのライセンスは一般的なオープンソースではなく、Liquidが定めたLFM Open License v1.0です。個人利用と研究は自由ですが、商用利用には条件があります。年間売上が1,000万米ドル未満であれば商用利用でき、この基準を超えると別途の許可が必要です。ライセンスはこの基準をThresholdと定義し、商用利用の権利を超えない条件に結び付けています。

• Liquid AIのモデルカード
• LFM Open License v1.0の原文
• MLX 4bitファイル

よくある質問

この記事で最初に確認すべきことは何ですか？

LFM2.5-24B-A2Bは、Liquid AIが2026年10月12日に公開した推論モデルです。64のエキスパートのうち4つだけを選ぶMoE構造なので、重みは24Bを占めますが、1トークンの計算量は約2.45Bです。韓国語を含む16言語に対応し、公式のGGUFとMLX 4bitファイルが同時に配布されているため、MacでもNVIDIA PCでも試せます。ただしモデルカードの184 tok/sはApple M5 Maxで測った値なので、自分の環境の速度として読んではいけません。

必要なメモリはどのくらいですか？

この構造が実用的なのは、メモリと速度が別々に動くからです。読み込むには24B分の重み領域が必要ですが、トークン生成の速度は有効2.45Bの計算量に近づきます。同じ24Bの密モデルと比べれば同じメモリでより多くのトークンが期待でき、逆に7Bクラスの軽いメモリではこのモデルを載せられません。両方の数字を見る必要がある理由です。

条件と出典はどこで確認できますか？

モデルカードは、同規模の他のMoEより最大1.7倍速く、Apple M5 Maxで184 tok/s、NVIDIA B300 1枚で出力21K tok/sまで出るとしています。この数値はベンダーが決めた条件で測ったものです。自分の環境の速度として読むには、同じハードウェアか、どの量子化ファイルを使ったか、コンテキスト長はいくつか、考えるトークンが出力に含まれたかをまずそろえる必要があります。

要点

1. 総39.8B・有効約2.5B、コンテキストは262,144トークンです。
2. 公式の実行環境はB300またはH200のGPU 1枚です。
3. GGUFは別配布で、サーバーの性能と同じではありません。

コードベースを自分で調べるエージェントモデルです

Flintは、リポジトリを調べてバグを直し、機能を実装し、テストを書くコーディングエージェント向けのモデルです。テキスト入出力、推論、複数回にわたるツール呼び出しを扱えます。構造はデコーダ専用のMoE Transformerで、49層のうち2層が密層、47層がMoE層です。各MoE層では256のエキスパートから6つを選び、常に計算する共有エキスパートが1つ追加であります。

アテンションは35層が513トークンの短い窓を使い、14層が全体アテンションを使います。短い窓の層はKVキャッシュが少なくて済むため、長い会話でのメモリ負担が減ります。262,144トークンのコンテキストはプロンプトと生成結果を合わせた長さです。

オープンなコーディングエージェントを個人PCで使うには、モデルのスコアより実行環境を先に確認する必要があります。この記事はその順でまとめています。

• コンテキスト長・RoPE・スライディングウィンドウ
• MoEとDenseの違い：活性パラメータが小さくてもメモリが必要な理由
• GGUFとMLX、ダウンロードするモデル形式の選び方
• Xing4.0をローカルで実行：コーディングモデルの導入とGPU・メモリ選び
• LFM2.5-24B-A2BのローカルLLM：韓国語対応24B MoEを自分のPCで

公式の実行環境はサーバーGPUです

ベンダーが案内する実行方法はGGUFやllama.cppではなくSGLangです。約80GBの重みを取得してSGLangイメージを構築し、B300またはH200のGPU 1枚でサーバーを起動します。アドレスは127.0.0.1にバインドされ、準備ができると/health_generateで状態を確認します。Transformersのモデリングコードはまだ提供されていないと明記しています。

この手順は個人用PCを前提としたものではありません。B300とH200はデータセンター向けのGPUで、個人が購入する機器とはメモリ構成が大きく異なります。個人環境で使うには別途配布された量子化GGUFを使う必要があり、その経路はベンダーが測定したものとは別の実行環境で動きます。

ベンダーのスコアの測定条件を先に見ます

ベンダーはTerminal-Bench 2.1で54.9%、SWE-bench Pro v2で89.7%、SWE-bench Verifiedで74.2%を報告しています。モデルカードは評価条件も記載しています。温度1.0、top-p 0.95、top-k 20を使い、Terminal-BenchはTerminus 2、SWE-benchはmini-swe-agentハーネスで測定しました。エージェントのスコアは最低5回試行のpass@1平均です。

モデルカードは比較の限界も明示しています。出典ごとに評価環境が異なり、表のスコアのうちベンダー自身が測ったものには印が付いています。FlintのTerminal-Benchスコアは、ウェブ検索で得た解を失敗として数える補正を適用しており、他の開発元が報告したスコアには同じ補正がない可能性があると記載しています。表で2つの数値を並べるときはこの違いを考慮する必要があります。

個人環境ではまず対応状況を確認します

個人PCで試すには2点を先に確認してください。1つは使う実行環境がこの構造に対応しているかです。Flintは35層のスライディングウィンドウアテンション、学習されたアテンションシンク、ヘッドごとのRMSNormなど、一般的なllama系とは異なる構造を使います。実行環境がこれらを実装しているか公式文書で確認しないと、ファイルを取得してもエラーになります。

もう1つはメモリです。総39.8Bの重みを4bitにしても元の4分の1程度は必要です。262Kのコンテキストを最後まで使うと、選択されたエキスパートだけを計算するとしてもKVキャッシュが積み上がります。短いコードレビューから始めてコンテキストを増やし、余裕を確認するほうが安全です。

エージェントハーネスと権限も合わせて見ます

コーディングエージェントのスコアはモデル単体で出るものではありません。どのハーネスがファイルを読み、コマンドを実行し、失敗を再試行するかも結果に含まれます。ベンダーもmini-swe-agentハーネスを使ったと明記しています。自分の環境で同じスコアを期待するには、ハーネスとツールの権限をそろえる必要があります。

エージェントはシェルコマンドを実行できます。サンドボックスや許可リストなしでリポジトリに接続すると、誤ってファイルを削除したり外部に送信したりする可能性があります。個人のリポジトリでも機密キーが入っていないか確認し、実行権限の範囲を狭めておいてください。

ライセンスと再配布の条件を確認します

FlintはApache 2.0ライセンスで配布されています。改変、再配布、商用利用が認められ、売上の基準もありません。ただしApache 2.0は著作権表示、変更の明示、特許条項への同意も伴います。チームのツールに組み込むときや再配布するときは、NOTICEとライセンスファイルを一緒に保管してください。

• Recursive Flintのモデルカード
• Flint GGUFの量子化ファイル
• Recursiveの公開発表

よくある質問

この記事で最初に確認すべきことは何ですか？

Flintは、Recursiveが2026年10月に公開したコーディングエージェント向けのMoEモデルです。総39.8B、トークンあたりの有効パラメータは約2.5B、コンテキストは262,144トークンです。ベンダー評価ではTerminal-Bench 2.1で54.9%、SWE-bench Pro v2で89.7%、SWE-bench Verifiedで74.2%を記録しました。ただし公式の実行手順はB300またはH200のGPU 1枚を前提とし、Transformersのモデリングコードはまだ提供されていません。個人PCで使うには別途配布されたGGUFとllama.cpp系の実行環境が必要で、その経路の性能はベンダーの数値と異なる場合があります。

必要なメモリはどのくらいですか？

この手順は個人用PCを前提としたものではありません。B300とH200はデータセンター向けのGPUで、個人が購入する機器とはメモリ構成が大きく異なります。個人環境で使うには別途配布された量子化GGUFを使う必要があり、その経路はベンダーが測定したものとは別の実行環境で動きます。

条件と出典はどこで確認できますか？

ベンダーはTerminal-Bench 2.1で54.9%、SWE-bench Pro v2で89.7%、SWE-bench Verifiedで74.2%を報告しています。モデルカードは評価条件も記載しています。温度1.0、top-p 0.95、top-k 20を使い、Terminal-BenchはTerminus 2、SWE-benchはmini-swe-agentハーネスで測定しました。エージェントのスコアは最低5回試行のpass@1平均です。

要点

1. 総30B・有効4B、262,144トークンのコンテキストです。
2. NVFP4量子化でRTX 5090の32GB 1枚で動くと案内しています。
3. Hugging Faceのアクセス承認が必要で、最終版ではないプレビューです。

韓国語を狙ってゼロから学習しました

Raon-1 miniは、KRAFTON AIが設計し、ゼロから学習した30B-A4BのMoE言語モデルです。30Bは総パラメータ数、A4Bは1トークンあたりの有効パラメータ約4Bを意味します。モデルカードは韓国語の対話とエージェント作業で高い性能を示すと説明しています。他のオープンモデルを再学習したものではなく、自社で学習したモデルである点が特徴です。

学習言語は韓国語、英語、日本語、中国語、スペイン語、フランス語、タイ語です。モデルカードは韓国語が強く、英語も堅実だと記載しています。韓国の利用者にとって、韓国語が学習言語に含まれること自体に意味があります。ただし各言語への学習配分は公開されていないため、韓国語の品質は自分で確認するほうが正確です。

このモデルが韓国の利用者にとって重要なのは、韓国語を学習に含む韓国製モデルだからです。韓国語のローカルLLMを探しているなら、RTX 5090 32GB 1枚でまず試せます。

• RTX 5090 32GBのメモリ・速度・価格
• コンテキスト長・RoPE・スライディングウィンドウ
• MoEとDenseの違い：活性パラメータが小さくてもメモリが必要な理由
• GGUFとMLX、ダウンロードするモデル形式の選び方
• LFM2.5-24B-A2BのローカルLLM：韓国語対応24B MoEを自分のPCで

アテンション構造を変えて長い文脈のコストを下げました

このモデルは25層のうち18層にRaon Delta Attention、7層にMLAを使います。線形アテンション系のRDA層は固定サイズの状態を保つため、入力が長くなってもKVキャッシュが増え続けません。KVキャッシュを残すMLA層は7層だけで、モデルカードはBF16で1トークンあたり約8KiBと記載しています。

長い文脈が必要な作業では、この構造によってメモリ使用量を予測しやすくなります。ただし実行環境がこのアテンション構成に対応していてこそ意味があります。llama.cpp、Ollama、vLLMがそれぞれいつ対応したかを確認してからファイルを選んでください。

アクセス承認を受けてからファイルを選びます

このモデルはHugging Faceのリポジトリから直接ダウンロードできません。アクセス申請画面で氏名、所属、役職、国、利用目的を入力し、ライセンスに同意する必要があります。承認後にモデルファイルとGGUF・MLX変換版を取得できます。承認は自動ではないため、最初の試行では時間の余裕を見てください。

アクセス権が得られたら、用途に合う形式を選びます。RTX 5090 1枚を目指すならNVFP4ファイル、互換性や扱いやすさを優先するならGGUFです。MXFP8も提供されています。形式ごとに必要なメモリと対応実行環境が異なるため、同じモデルでも実行条件は同じではありません。

プレビューである点を結果の解釈に反映します

モデルカードは、この配布が最終版ではなく、仕様と結果が最終版で変わり得ると明記しています。ベンチマーク表もプレビュー基準です。数週間後に同じ名前の正式版が出ればスコアや推奨仕様が変わる可能性があるため、業務に組み込む前にバージョンと測定日を一緒に記録しておいてください。

比較表はRaon-1 miniをQwen3.6-35B-A3B、Gemma 4 26B-A4B、Qwen3.8-27B、Muse Glimmer 30Bと並べています。同じ表にあっても測定環境が同じとは限らないため、別途確認が必要です。特に知識系ベンチマークでは他モデルより低い項目もあるため、発表が強調する推論・指示追従・エージェントの項目と合わせて見るべきです。

韓国語の文書作業なら、早めに比較する理由があります

韓国の利用者にとって魅力的なのは、韓国語を学習言語に含むモデルをRTX 5090クラスの環境で試せることです。議事録の要約、社内文書の分類、韓国語の顧客対応の下書きのように韓国語の入力が核心となる作業なら、既存のQwenやGemma系と同じ文で比較する価値があります。

逆に英語のコード作成や長い英語文書の処理だけを行うなら、このモデルを先に選ぶ理由は弱くなります。同じメモリで既に検証済みの別モデルと比べて優位が見えたときだけ切り替えるのが安全です。プレビューモデルを業務の基準にせず、検証用の候補として置いてください。

Apache 2.0の条件を確認します

Raon-1 miniはApache 2.0ライセンスで配布されています。商用利用、改変、再配布が認められ、売上の基準はありません。アクセスゲートは配布方法にすぎず、ライセンス条件を狭めるものではありません。ただしApache 2.0は著作権表示と変更の明示を求めるため、製品に組み込むときはライセンスとNOTICEを一緒に保管してください。

• KRAFTON AI Raon-1 miniのモデルカード
• Raon-1 miniの公式体験ページ

よくある質問

この記事で最初に確認すべきことは何ですか？

Raon-1 miniは、KRAFTON AIが韓国語とエージェント作業を狙ってゼロから学習した30B-A4BのMoEモデルです。総30Bのうち1トークンあたりの有効パラメータは4Bで、コンテキストは262,144トークンまで対応します。韓国語・英語・日本語・中国語・スペイン語・フランス語・タイ語で学習しました。モデルカードは、NVFP4量子化によりRTX 5090の32GB 1枚で推論できると案内しています。ただし最終版ではないプレビュー配布で、Hugging Faceでアクセス承認を得なければファイルを取得できません。

必要なメモリはどのくらいですか？

長い文脈が必要な作業では、この構造によってメモリ使用量を予測しやすくなります。ただし実行環境がこのアテンション構成に対応していてこそ意味があります。llama.cpp、Ollama、vLLMがそれぞれいつ対応したかを確認してからファイルを選んでください。

条件と出典はどこで確認できますか？

学習言語は韓国語、英語、日本語、中国語、スペイン語、フランス語、タイ語です。モデルカードは韓国語が強く、英語も堅実だと記載しています。韓国の利用者にとって、韓国語が学習言語に含まれること自体に意味があります。ただし各言語への学習配分は公開されていないため、韓国語の品質は自分で確認するほうが正確です。

要点

1. 1017は構造を変えない再学習チェックポイントで、APIでは`deepseek-flash`の名前と価格がそのままです。
2. 48個のシャードがすべて変わり、Engram 2個とビジョン部分も含まれるため、9月のファイルと混ぜると気づかないまま別のモデルが動きます。
3. llama.cpp本体のV4.1対応PRはまだマージされておらず、サーバーGPU向けのvLLM・SGLangと専用MLX変換版が先です。

1017は新しいモデルではなく、同じ位置を埋めるチェックポイントです

2026年10月17日に公開されたV4.1-Flash-1017は、9月10日のV4.1 Flashを引き継ぐ再学習チェックポイントです。同社は小規模な更新と呼んでいますが、自社ベンチマークではTerminal-Bench 4.0が11.1ポイント、ProgramBenchが8.8ポイント上がり、同じ作業をより短い出力で終えます。ウェブ、アプリ、APIのモデル名はそのままで、APIでは`deepseek-flash`を使い続けます。

構造もそのままです。バックボーン552BとEngram 196B、DSparkドラフト、ビジョン部分を合わせて、モデルカードには763Bパラメータとして表示されます。1,048,576トークンの文脈、最大出力384K、MITライセンスも9月と同じです。ローカル利用者にとって重要なのは「何が増えたか」より「同じ位置のファイルが何に変わったか」です。

• DeepSeek 1017の公開案内
• DGX Spark 128GBのローカルLLM基準
• コンテキスト長・RoPE・スライディングウィンドウ
• GGUFとMLX、ダウンロードするモデル形式の選び方
• DeepSeek 1017 vs Opus 5 vs GLM-5.3：点数と費用を一緒に見る

ファイル名とサイズは同じでも中身はすべて変わっています

公式リポジトリのsafetensors 48個は1017ですべて書き直されました。ファイル名と個別サイズは9月と同じですが、Engram n-gramテーブル2個とビジョン部分も新しい値になっています。問題は、実行エンジンが通常ファイル名とテンソル形状だけを見て読み込むことです。9月のEngramテーブルを1017本体につないでも読み込みは成功し、回答もそれらしく見えます。しかしそれは1017ではなく、噛み合っていない組み合わせの結果です。

すでに9月のチェックポイントを持っているなら、同じフォルダーに上書きせず新しいフォルダーへ取り直してください。以前のフォルダーを削除するか名前を変えておくと、エンジンが古いファイルを拾う事故を減らせます。ダウンロード後はリポジトリのファイル一覧と、受け取ったシャードの名前・サイズを照合し、変換版ならそのリポジトリが提供するチェックサム一覧も確認します。

hf download deepseek-ai/DeepSeek-V4.1-Flash-1017 \
  --revision 1bae0e1088993b9b82de08f59de5be5a34e42170 \
  --local-dir ds41-1017
du -sh ds41-1017

• 1017リポジトリのファイル一覧

取り直す量は実行形式によって大きく変わります

公式チェックポイントは48ファイル合計で510.3GB、2進単位では475.25GiBです。変換するには元ファイルと結果を並べて置く容量が必要で、実行中は重みに加えてKVキャッシュとランタイムのメモリも要ります。1TB以上の空きを見込むのが安全ですが、これは計画用の計算であり公式の最低要件ではありません。

個人向け機材には二つの道があります。128GBのDGX Spark 1台を狙ったVQ GGUFは、本体113.56GB、ビジョン補助0.97GB、Engram 203GBを別に置き、Engramはディスクから行単位で読みます。ダウンロード量は約318GBです。MLX 3ビット変換版は変換シャード223.5GiBと元のEngram 189.1GiBを合わせて412.6GiBになります。どちらも1017自体の実行速度はまだ公開されていません。

• DGX Spark向けVQ GGUF変換版
• MLX 3ビット変換版

現在1017を読める経路はllama.cpp本体ではありません

llama.cppのDeepSeek V4.1対応PRは2026年9月10日に開かれ、10月18日時点でもマージされず競合したままです。そのため「llama.cppで動く」という案内は、多くがフォークや別の変換版を指します。本体ビルドで同じコマンドを実行すると、構造を認識できず失敗することがあります。

サーバー級GPUではvLLMとSGLangのレシピでこの構造を実行でき、NVIDIA Dynamoの文書もV4.1 Flashの配備を扱っています。ただしvLLMでは思考モードが既定で有効、effortの既定値が50のため、max_tokensを小さくすると推論だけで予算を使い切り、空のcontentとfinish_reason=lengthが返ることがあります。モデルの故障ではないので、thinkingを切るか出力予算を増やします。

プロンプト形式にも注意が必要です。1017リポジトリにはJinjaチャットテンプレートがなく、encodingフォルダーのPython参照実装とdeepseek-recipeが同じ形式を提供します。先頭に空白が入るDSMLのツール呼び出しタグや1〜100の数値effortを通常のテンプレートとして扱うと、会話がずれることがあります。

• llama.cpp V4.1対応PR
• vLLM DeepSeek V4.1レシピ

性能表では点数より作業あたりのコストを見ます

モデルカードの比較表では、1017は多くの項目で9月のモデルを上回り、一部のコーディング項目ではOpus 5も超えると報告されています。Terminal-Bench 4.0は31.2から42.3、DeepSWE v1.1は74.2から77.0、ProgramBenchは20.3から29.1へ上がりました。HLEは36.8から42.6へ改善しましたが、Opus 5の56.3には届きません。

これらの数値はベンダーが公開したハーネス条件での結果です。Terminal-BenchはClaude Codeハーネス、DeepSWEはMini-SWE-V2で測定しており、手元のマシンのtok/sや初回トークン待ちではありません。1017の実質的な改善は同じ作業を短い出力で終える点にあるため、ローカルでは「同じ要求で何トークン使うか」を9月のチェックポイントと比べるのが現実的です。

API料金はそのままですが、検索ツールは11月から有料です

APIでは`deepseek-flash`と旧名`deepseek-v4-flash`のどちらも1017に接続され、価格表も9月と同じです。キャッシュ一致の入力は100万トークンあたりオフピーク$0.003、ピーク$0.006、不一致の入力は$0.15と$0.3、出力は$0.6と$1.2です。ピークはUTCで平日01〜04時と06〜10時です。

新たに公開されたSearchとFetch APIは、成功した1,000リクエストごとにそれぞれ$0.75です。DeepSeek Harness、Claude Code、Codexからサーバーツールとして呼ぶ場合は2026年11月1日0時（北京時間）まで無料で、その後は課金されます。ローカルモデルでも検索を付けるとこの費用が別に発生する点を計算に入れてください。

• DeepSeekのモデル・価格表
• Search・Fetch APIの案内

取り直す前に確認する順序

まず、このモデルをローカルで動かすかAPIで使うかを決めます。APIなら名前はそのままで構いません。ローカルなら、使っているエンジンがdeepseek_v41構造と1017リビジョンを実際に読み込めるか確認し、保存容量と変換用の余裕を見積もり、既存フォルダーと分けて取得したうえで、代表的な作業を同じ条件でもう一度実行します。

記録する値はリポジトリのリビジョン1bae0e1、使った変換版とランタイムのコミット、文脈長、出力トークン数、初回トークンまでの時間です。9月のチェックポイントで安定して使えていた構成が1017で同じように動かないなら、新しいベンチマークの点数より先にその差を解消するほうが賢明です。

よくある質問

この記事で最初に確認すべきことは何ですか？

DeepSeek-V4.1-Flash-1017は9月のV4.1 Flashを再学習したチェックポイントです。構造、1Mトークンの文脈、MITライセンス、APIのモデル名`deepseek-flash`はそのままですが、48個の重みシャードがすべて差し替わりました。すでにローカルでV4.1 Flashを動かしているなら、同じフォルダーに上書きせず、Engramテーブルとビジョンファイルまで1017に揃えたうえで、いつもの作業を同じ条件でもう一度試してください。

必要なメモリはどのくらいですか？

公式チェックポイントは48ファイル合計で510.3GB、2進単位では475.25GiBです。変換するには元ファイルと結果を並べて置く容量が必要で、実行中は重みに加えてKVキャッシュとランタイムのメモリも要ります。1TB以上の空きを見込むのが安全ですが、これは計画用の計算であり公式の最低要件ではありません。

要点

1. Searchは`/v1/tools/search`、Fetchは`/v1/tools/fetch`で、どちらもBearer認証を使います。
2. 成功した1,000リクエストごとにそれぞれ$0.75で、Harness・Claude Code・Codex経由は11月1日まで無料です。
3. ローカルモデルでは、ツール呼び出しより検索要約をプロンプトに入れるほうが安定します。

検索とページ取得は別々のAPIです

Search APIは問い合わせに合うウェブ文書の一覧を返し、Fetch APIは指定したURL一件の本文をMarkdownで取得します。どちらも`https://api.deepseek.com`の下の`/v1/tools/search`と`/v1/tools/fetch`にあり、DeepSeek APIキーをBearerで使います。検索だけではページ全文は得られないため、要約で足りるか本文が必要かを先に決めます。

検索は1〜128文字の問い合わせと1〜50件の結果（既定10件）を受け取ります。`need_content`を有効にするとページ本文も返りますが、その分レスポンスが大きくなります。`ori_question`には検索を呼び出した元の質問を128文字まで入れて順位を補正できます。

• EmbeddingGemma 2で写真や録音を手元で検索するには？
• Mac・RTX 3090・サーバーでJev型ローカル判断モデルを実行する
• ローカルLLMの実行ソフト、何から使えばいい？

レスポンスでは順位スコアと要約を先に見ます

各結果には`rerank_score`（0〜3）、`authority`（0〜4）、`date`、`summary`（通常600〜800文字）、`content`が含まれます。1.5以上は関連性が高いとされ、authority 3以上は信頼度の高い出典として示されます。モデルに入れるときは要約・URL・日付を一緒に残すと出典を付けやすくなります。

• Search・Fetch APIの案内

ローカルモデルには検索結果をプロンプトで渡します

ローカルモデルにツール呼び出しを任せると、小さいモデルほどスキーマを破ったり同じ呼び出しを繰り返したりします。代わりにアプリが先に検索し、上位3〜5件のsummaryを引用番号付きでプロンプトに入れ、ローカルモデルには「与えられた資料だけで答え、ない内容は分からないと言う」よう依頼する方法が単純です。

本文が必要な質問では、選んだ結果のURLだけをFetchで取得して本文を切り出します。長いページは質問に関係する段落だけを残し、文書ごとにURLと取得時刻を記録してください。こうしておけばモデルを変えても検索部分はそのまま再利用できます。

curl https://api.deepseek.com/v1/tools/search \
  -H "Authorization: Bearer $DEEPSEEK_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"query":"DeepSeek V4.1 Flash 1017","count":5}'

料金は成功したリクエストに付きます

SearchとFetchはそれぞれ成功した1,000リクエストごとに$0.75です。1日40回の検索と20回の取得なら、1か月で検索1,200件、Fetch 600件、約$1.35になります。失敗したリクエストは課金対象外と案内されていますが、再試行が成功すればその分は数えられます。

DeepSeek Harness、Claude Code、Codexからサーバーツールとして呼ぶ場合は2026年11月1日0時（北京時間）まで無料です。その後は同じ呼び出しもリクエストごとに課金されるため、無料期間中に呼び出し量を記録しておくと切り替え後の費用を見積もりやすくなります。

Fetchの失敗は原因別に処理します

Fetchは取得先のサイトに拒否されると403、使える本文が得られないと404、アドレスを解決できないと500を返すことがあります。残高がない場合は402です。403と404は同じURLで再試行しても結果が変わらないことが多いため、別の出典に替えるか検索の要約で代用します。

URLにユーザー名やパスワードを含めることはできず、サイトのアクセス方針を回避する用途に使ってはいけません。再試行は5xxに限って短く行い、成功したURLと本文ハッシュをキャッシュすれば同じページを繰り返し取得する費用を減らせます。

運用に組み込む前に残す記録

問い合わせ、使ったURL、取得時刻、モデルとプロンプトの版を一行ずつ残します。検索結果は時間とともに変わるため、同じ質問に別の答えが出たとき、検索時点の資料を確認できる必要があります。個人情報や社内文書を問い合わせに入れる前に、外部へ出る範囲を決めてください。

レスポンス本文をそのまま保存するときは著作権とサイト規約を確認し、必要な長さだけを保管します。ローカルモデルと検索APIを併用すると、モデルは手元で動いても問い合わせとURLは外部に出るため、その点を利用者に伝えてください。

よくある質問

この記事で最初に確認すべきことは何ですか？

DeepSeekのSearch APIは問い合わせに合うウェブ文書の一覧を、Fetch APIは指定したページの本文をMarkdownで返します。どちらも同じAPIキーを使い、成功した1,000リクエストごとにそれぞれ$0.75です。ローカルモデルにツール呼び出しを強いるより、アプリが先に検索し、上位結果の要約とURLをプロンプトに入れるほうが単純で再現しやすくなります。

要点

1. `dsh`はモデルではなく、ツール・セッション・プラグインをまとめるハーネスで、MITライセンスで公開されています。
2. `npx @deepseek-ai/dsh web`で`127.0.0.1:3080`に起動し、モデルはSettings → Modelsで接続します。
3. 1017対応とSearch・Fetchツールは0.2.1-rc以降に入り、プレビューのため互換性変更が予告されています。

ハーネスとモデルの役割は違います

DeepSeek Harness（`dsh`）はDeepSeek AIがMITライセンスで公開したエージェントハーネスです。モデルそのものではなく、会話セッション、ファイルアクセス、シェル実行、検索、プラグインをまとめ、モデルが実際の作業を続けられるようにするプログラムです。すべてがプラグインという構造なので、必要な機能だけを有効にできます。

開発者プレビュー段階で、互換性を壊す変更が予告されています。業務で使うなら版を固定し、更新前にリリースノートを確認するのが安全です。

• DeepSeek Harnessリポジトリ
• ローカルAIエージェントとは？自分のパソコンで動かす意味を考える
• Granite 4.2の3B・8B・30B、自分の機材にはどれが合う？
• ローカルLLMとは？インストール・PC仕様・モデル選びから速度確認まで

インストールと初回起動はコマンド一行です

Node.js 22.19以上または24以上が必要です。`npx @deepseek-ai/dsh web`を実行すると既定のアドレス`http://127.0.0.1:3080`でWeb UIが起動し、ローカル起動ならブラウザーも開きます。サーバーだけを起動するには`--no-open`を付けます。

ソースから実行するにはリポジトリを取得し、`pnpm install`、`pnpm run build`、`pnpm dsh web`の順に進めます。初回起動後は設定と認証情報が`$DSH_HOME`の下に保存されるため、バックアップと削除の範囲はそのフォルダーを基準に決めます。

npx @deepseek-ai/dsh web

モデルは設定画面で接続します

Web UIのSettings → ModelsでDeepSeekカードにAPIキーを入れると`deepseek-flash`を使えます。キーは再表示できず、`$DSH_HOME/.credentials.yaml`に保存され、設定には参照だけが残ります。

他の提供元や社内ゲートウェイはAdd model providerのCustom model APIで追加します。プロバイダーID、Base URL、APIプロトコル（OpenAI Chat Completions、OpenAI Responses、Anthropic Messagesのいずれか）、モデルIDを入れ、必要ならFetch available modelsで一覧を取得します。プロバイダーIDは後から変更できないため、最初に正確に決めてください。

ローカルサーバーを繋ぐときは三つの値を合わせます

vLLMやllama.cppのサーバーのようにOpenAI互換APIを提供するローカルサーバーもCustom model APIで接続できます。その際はBase URL、モデルID、コンテキスト長、最大出力トークンをサーバー設定と同じにします。ハーネスが長い会話を圧縮したりツール結果を入れたりするときに実際の上限を超えると、リクエストは失敗します。

ローカルモデルのツール呼び出しの信頼性はモデルとランタイムによって変わります。小さいモデルはツールスキーマを破ったり同じ呼び出しを繰り返したりするため、ファイル読み取りとシェル実行の権限を絞り、短い作業から試してください。1017をローカルで繋ぐにはvLLMのようなサーバー経路が必要で、llama.cpp本体はまだこの構造を読めません。

1017と検索ツールは0.2.1-rcから付きます

DeepSeekは1017をdsh 0.2.1-rc.1以上に合わせて最適化したと案内しています。0.2.1-rc.2にはSearch・Fetch APIをウェブ検索設定で有効にする機能も入りました。この検索ツールは2026年11月1日まで無料で、その後は成功したリクエストごとに課金されます。

モデルを変えるときは、セッションに記録されたモデルがそのまま維持される点にも注意してください。すでにリクエストを送ったセッションは新しい既定モデルへ自動で切り替わらないため、新しいセッションを開いて比較します。

• dshのリリースノート
• モデル接続の案内

更新前に確認すること

プレビュー版では設定ファイルの構造やプラグインAPIが変わる可能性があります。`$DSH_HOME/profiles/web/cordis.patch.yml`をバックアップし、使っているプラグインとモデル設定を記録してから更新してください。自動更新よりタグを固定するほうが再現に有利です。

シェルとファイルの権限は既定値のままにせず、作業フォルダーと許可コマンドを絞ってください。ハーネスは利便性のために権限を広く取ることがあるため、重要なリポジトリではサンドボックスと承認手順を先に確認します。

よくある質問

この記事で最初に確認すべきことは何ですか？

DeepSeek Harness（`dsh`）はDeepSeek AIがMITライセンスで公開したエージェントハーネスです。モデルそのものではなく、ファイルアクセス、シェル実行、検索、プラグインをまとめてモデルが作業を続けられるようにするプログラムです。`npx @deepseek-ai/dsh web`でローカルのWeb UIを起動し、設定でDeepSeekキーやカスタムAPIを接続します。開発者プレビューなので、使う版は固定するのが安全です。

要点

1. 1017はTerminal-Bench 42.3、DeepSWE 77.0で9月のモデルを大きく上回り、DeepSWEではOpus 5も超えます。
2. HLEは42.6でOpus 5の56.3に届かず、総合推論ではまだ差があります。
3. API価格はDeepSeekが入力・出力とも大幅に安く、ローカル実行は1017とGLM-5.3-Flashだけが可能です。

比較表は同じハーネス条件の結果です

DeepSeekのモデルカードは1017、9月のV4.1、K3、GLM-5.3、GPT-5.6 Sol、Opus 5を同じ項目で比較しています。Terminal-Bench 4.0はClaude Codeハーネス、DeepSWE v1.1はMini-SWE-V2で測定しました。ハーネスが違えば同じモデルでも点数は変わるため、表の数値をそのまま自分の環境の性能として扱うことはできません。

特にローカル実行速度とは別の指標です。ここでの点数は課題を完了できたかを測る値で、tok/sや初回トークン待ちは別に測定する必要があります。

• DeepSeek-V4.1-Flash-1017：取り直すファイルと実行条件
• MiMo V2.6 Pro・Flash同時公開：性能はどこまで来たのか
• ローカルLLMとは？インストール・PC仕様・モデル選びから速度確認まで

コーディングとエージェント課題では1017が先行します

Terminal-Bench 4.0は1017が42.3で9月の31.2より11.1ポイント高く、Opus 5の51.8には届きません。DeepSWE v1.1は77.0でOpus 5の74.0を上回り、ProgramBenchは20.3から29.1へ上がりましたがOpus 5の37.0より低いままです。

エージェント項目ではAutomation-Bench 60.5、Agents' Last Exam 35.4で9月のモデルより上がり、Opus 5も上回ります。ただしこれらはモデルカードが公開した値であり、自分のリポジトリで同じ結果になるという意味ではありません。

総合推論はまだOpus 5が先行します

HLE（ツールなし）は36.8から42.6へ上がりましたが、Opus 5の56.3、GPT-5.6 Solの44.5には届きません。NL2Repo-Benchも68.2でOpus 5の75.3より低いです。一方、ChartographyやBabyVisionのような視覚・ツール課題ではOpus 5に近い水準まで上がっています。

「1017がOpus 5に勝った」という文はコーディングの一行では正しいですが、全体性能の結論ではありません。どの課題をよく行うかで選択は変わります。

価格差は点数の差より大きいです

DeepSeek APIは`deepseek-flash`でキャッシュ不一致の入力がピーク$0.3、出力が$1.2です。Opus 5は入力$5、出力$25と案内されています。同じトークンなら入力で約17倍、出力で約21倍の差になります。オフピークにはDeepSeekが半額になるため、差はさらに広がります。

エージェント作業は出力が長くなりがちです。一つの作業で入力2万、出力1万トークンを使うと、DeepSeekはピークで約$0.018、Opus 5は約$0.35です。1017が出力を短くした点を加えると作業あたりの差はさらに広がりますが、失敗した作業をやり直す費用も計算に入れる必要があります。

• DeepSeekの価格表
• Claude Opus 5の文書

ローカルで動かせるのは1017とGLM-5.3-Flashです

1017はMITライセンスで475.25GiBの公式ファイルが公開され、GLM-5.3-Flashは総320B・有効18Bのオープンウェイトモデルです。Opus 5は公開重みがなくAPI専用です。ローカル実行を前提にすると、選択肢は1017とGLM-5.3-Flashに絞られます。

1017は1Mの文脈と552Bのバックボーンのため、個人向け機材では圧縮変換版とSSDストリーミングが必要です。GLM-5.3-Flashも320Bでサーバー級メモリが要ります。オープンウェイトと「自分のノートPCで動く」は同じ意味ではありません。

自分の作業で決める三つの確認

第一に、よく行う作業を三つ選び、同じプロンプトで比較します。第二に、作業を終えるのに使ったトークンと再試行回数を記録します。第三に、データが外部に出てよいか確認します。この三つが点数表より直接的に選択へ影響します。

ベンチマーク1点の差を追うより、自分の作業で失敗率が低く費用を予測できるほうを選ぶのが賢明です。整理すると、1017はコーディング・エージェントとローカル実行、Opus 5は総合推論とマネージドAPI、GLM-5.3-Flashはもう一つのオープンウェイトの選択肢です。

よくある質問

この記事で最初に確認すべきことは何ですか？

DeepSeekのモデルカードでは、1017はTerminal-BenchやDeepSWEのようなコーディング・エージェント項目で9月のモデルを大きく上回り、一部はOpus 5も超えます。一方、HLEやNL2Repoのような総合推論ではOpus 5が先行します。さらにAPI価格の差とローカル実行の可否を加えると、一つの点数では選べないという結論になります。

必要なメモリはどのくらいですか？

1017は1Mの文脈と552Bのバックボーンのため、個人向け機材では圧縮変換版とSSDストリーミングが必要です。GLM-5.3-Flashも320Bでサーバー級メモリが要ります。オープンウェイトと「自分のノートPCで動く」は同じ意味ではありません。

要点

1. gpu-unlockはドライバーパッチではなく、ドライバーのバインド前にSS0セレクターを書き込むカーネルモジュールです。
2. 3090 Tiの測定ではBF16が87.50から157.41 TFLOPSへ増えましたが、3090自体の公開表はまだありません。
3. VRAM・帯域幅・トークン生成速度は変わらず、検証済み環境は1台・1ディストリビューションです。

10月18日に公開されたカーネルモジュールです

gpu-unlockは、RTX 3090で塞がれていたBF16演算率を開くLinuxカーネルモジュールです。UEFIアプリでもパッチ済みNVIDIAドライバーでもなく、ドライバーがカードを掴む前に速度セレクターを書き込む方式です。モジュールはGPL-2.0で、生成されるファームウェアはCMPアンロックの参考資料に由来します。

リポジトリの説明では、SS0に`0x88888888`を書いてBF16のフルレートを選び、4ビットのSS1 `0x8`も書き込みますが、その効果は未検証です。カードはコールドブート状態である必要があり、ウォームリブートは非対応です。

• gpu-unlockリポジトリ
• RTX 3090 24GBのメモリ・速度・価格
• プリフィルとデコードの違い：TTFTとtok/sのどちらを見る？
• LLMのメモリ帯域幅 vs 演算性能：速度のボトルネックを見つける方法
• 3090アンロックの検証：起動・GEMM・llama-benchの記録

開くのはBF16・FP16の行列演算です

メンテナーは「BF16/F16演算が約40%速くなる」と答えています。実数値が公開されたのは3090 Tiを試した別フォークです。450W、dense 8192³ GEMM、FP32累積、5回中央値の条件で、BF16は87.50から157.41 TFLOPS、FP16は87.46から118.39、TF32は42.58から82.61へ増えました。

この表は3090 Tiの値で、試験環境もUbuntuカーネル7.0.0-38、修正ドライバー610.43.02、別のinitramfsフックでした。3090でも同方向の変化が報告されていますが、3090のGEMM表はまだ公開されていません。

VRAMと帯域幅は変わりません

このアンロックは演算経路だけに触れます。RTX 3090の24GB GDDR6X、936GB/sの帯域幅、電力上限はそのままです。48GB改造のようにメモリチップを替える作業とは別物で、大きなモデルを多く載せられるようにもなりません。

1トークンずつ生成するデコード段階は、メモリから重みを読む速度に縛られます。そのためBF16演算率が上がっても、1リクエストのtok/sが同じ比率で上がるわけではありません。

検証済みの環境は1台だけです

リポジトリが確認したのは、CachyOS 7.2.8-1カーネル、NVIDIA 615.71.09、PCIアドレス`0000:21:00.0`のRTX 3090 1台です。同じ機材の別カードは未改造の対照群でした。同じGA102でも製品IDが異なればモジュールは拒否するため、対象は3090と別フォークが扱う3090 Tiに限られます。

6.15以下のカーネルではドライバー読み込み前に電源状態が上がらず、アンロックが失敗する報告があります。回避パッチがイシューとして上がっています。3090 Tiは別フォークのみの対応で、他のGA102製品IDは拒否されます。

コールドブートと元に戻すことが前提です

モジュールはカーネルコマンドラインに`gpu_unlock.targets=`が必要です。たとえば`gpu_unlock.targets=0000:21:00.0`のようにPCIアドレスを指定するか、`all`を使います。initramfsで`nvidia`より先に読み込ませ、完全に電源を切ってから起動します。

元に戻すにはカーネルコマンドラインからオプションを消し、パッケージを削除します。ファームウェアが停止しない場合、モジュールは次の電源断までDMAバッファを保持するため、再試行前に必ず電源を切ってください。画面が出ない場合はブートローダーの編集画面でオプションを消して起動します。

試す価値があるのは誰か

プリフィル、同時リクエスト、LoRAファインチューニングのように行列演算がボトルネックの作業を3090で回す人には意味があります。逆に1件ずつ短い回答を得る用途では利得は小さいです。業務機ではなく試験用PCで、基準線を記録してから試してください。

試験では電力上限とモデルを固定し、プリフィル時間と同時リクエストの処理量をあわせて記録してください。行列演算だけを見るならGEMM、体感を確かめるならllama-benchを使います。

よくある質問

この記事で最初に確認すべきことは何ですか？

2026年10月18日に公開されたgpu-unlockは、NVIDIAドライバーがカードを掴む前に速度セレクターを書き込み、RTX 3090のBF16演算率を開くLinuxカーネルモジュールです。リポジトリが動作を確認したのは3090の1台で、3090 Tiの測定値は別フォークによるものです。VRAMが増えたりデコードが速くなる道具ではなく、コールドブートと元に戻す手順が前提です。

必要なメモリはどのくらいですか？

このアンロックは演算経路だけに触れます。RTX 3090の24GB GDDR6X、936GB/sの帯域幅、電力上限はそのままです。48GB改造のようにメモリチップを替える作業とは別物で、大きなモデルを多く載せられるようにもなりません。

要点

1. デコードは936GB/sの帯域に縛られ、BF16処理量が上がってもほとんど変わりません。
2. プリフィル・バッチ・LoRAは演算比率が高く、アンロックの影響が出る可能性があります。
3. 測定では電力上限とモデル・量子化を固定し、前後を同じ条件で比較する必要があります。

デコードは演算ではなく帯域がボトルネックです

1トークンずつ生成するとき、モデルは各段階で重みをメモリから読みます。RTX 3090の936GB/sがこの読み出し待ちを決め、BF16行列演算ユニットの処理量が速度を決めるわけではありません。演算率が上がっても1リクエストのtok/sはほとんど変わりません。

当サイトで公開した3090の測定も同じ方向です。Qwen3.8 27B UD-Q4_K_XL、MTP n-max 3の条件で、350W時に68.9 tok/s、250W時に51.0 tok/sでした。電力上限を下げると遅くなりますが、これは演算ではなくクロックと電力の問題です。

• RTX 3090 24GBのメモリ・速度・価格
• プリフィルとデコードの違い：TTFTとtok/sのどちらを見る？
• GGUFとMLX、ダウンロードするモデル形式の選び方
• LLMのメモリ帯域幅 vs 演算性能：速度のボトルネックを見つける方法
• RTX 3090 48GB改造：受け取る前に確認すること
• 2×3090のNVLink：推論で実際にどれだけ変わるか

プリフィルは演算ボトルネックで変わる可能性があります

長い文書を一度に読むプリフィルは、入力トークン全体に対して行列積を実行する演算ボトルネックの段階です。BF16でプリフィルするランタイムなら、アンロック後に最初のトークンまでの時間が短くなる余地があります。llama.cppの量子化カーネルのようにBF16行列積を使わない経路では影響は小さいです。

どのランタイムがBF16でプリフィルするかはモデルとカーネルによります。同じモデルでもvLLMとllama.cppは同じ経路を使わないため、プリフィルの利得を計算するには使うランタイムのカーネルから確認します。

同時リクエストとバッチで差が広がります

複数リクエストを同時に処理すると同じ重みを再利用でき、帯域負担が減って演算比率が上がります。そのときはBF16処理量が全体の処理量を左右し得ます。連続バッチングを使うvLLMのようなサーバーでアンロックの効果が大きく出る理由です。

逆に1人が1件ずつしか送らない環境ではバッチが形成されず、この利点はほとんどありません。サーバー運用者か個人PC利用者かで期待値が変わります。

ファインチューニングと画像生成は別に見ます

LoRAファインチューニングはBF16行列積を多く使うため、理論上はアンロックの利得が最も大きい作業です。しかし3090の24GB VRAMがバッチサイズと系列長を制限するため、演算率より先にメモリが制約になります。大きなバッチを回す人ほど効果の余地があります。

画像生成はモデル・解像度・ステップ数によって演算とメモリの比率が変わります。FP16行列積が多い区間では助けになりますが、高解像度ではVRAMと帯域が先に制約になります。画像生成の前後差はモデル・解像度・ステップ数の組み合わせごとに変わるため、使う設定でそのまま測る方が早いです。

電力固定で前後を比較して測ります

同じモデル・量子化・文脈長・電力上限で基準線を測り、アンロック後にコールドブートで同じ条件を繰り返します。デコードだけでは差がほとんど見えないため、プリフィル時間と同時リクエスト処理量も記録します。

それで買うべきか

アンロックはすでに持っている3090の演算余裕を確認する実験です。新しく買う理由としては弱く、デコードが目的なら5090や48GB改造など別の選択肢を見るべきです。3090の強みは24GBの容量と価格で、演算率ではありません。

判断は測定から出ます。同じカードで前後を測ってから決めてください。

よくある質問

この記事で最初に確認すべきことは何ですか？

RTX 3090のBF16アンロックは行列演算の処理量を上げますが、1リクエストのトークン生成はメモリ帯域に縛られます。長い文書を一度に読むプリフィル、複数リクエストをまとめるバッチ、LoRAファインチューニングは演算比率が高く、影響が出る可能性があります。ただし3090自体の公開測定値はまだないため、期待値を決めて自分で測るのが先です。

必要なメモリはどのくらいですか？

1トークンずつ生成するとき、モデルは各段階で重みをメモリから読みます。RTX 3090の936GB/sがこの読み出し待ちを決め、BF16行列演算ユニットの処理量が速度を決めるわけではありません。演算率が上がっても1リクエストのtok/sはほとんど変わりません。

要点

1. カーネル・ドライバー・VBIOS・電力上限を記録して初めて前後比較が成立します。
2. GEMMは行列演算を、llama-benchはプリフィルとデコードを別々に示します。
3. コールドブートのログを確認し、失敗したらコマンドラインのオプションを消して戻します。

まず基準線を記録します

測定前にカーネル版、NVIDIAドライバー、VBIOS、電力上限、現在のクロックを記録します。`uname -r`、`nvidia-smi`、`nvidia-smi -q`で確認できます。同じカードでもドライバーと電力設定が違えば結果は変わります。

電力上限は実験中ずっと固定します。3090の既定値は350Wで、300Wや280Wに下げるとデコードが少し遅くなります。前後比較で電力を変えると、演算の変化と電力の変化が混ざります。

uname -r
nvidia-smi --query-gpu=name,driver_version,vbios_version,power.limit,clocks.max.sm,memory.total --format=csv
nvidia-smi -q | grep -A2 "GPU Power Limit"

• プリフィルとデコードの違い：TTFTとtok/sのどちらを見る？
• GGUFとMLX、ダウンロードするモデル形式の選び方
• RTX 3090 BF16アンロック：変わるものと変わらないもの
• llama.cpp：どの設定が遅さの原因かを自分で確かめるには

GEMMで行列演算だけを測ります

公開された比較は8192³のdense GEMM、FP32累積、5回中央値でした。同じ条件でFP16・BF16・TF32を測れば、アンロックが行列演算に与えた影響を切り分けられます。ウォームアップを除き、中央値を使います。

PyTorchでTF32を実際に使うには`torch.backends.cuda.matmul.allow_tf32`を有効にし、BF16では入力を`torch.bfloat16`にします。測定スクリプトはリポジトリのイシューの条件を参考に自分で書くのが安全です。

import torch, time, statistics
assert torch.cuda.is_available()
torch.backends.cuda.matmul.allow_tf32 = True
n = 8192
for dtype in (torch.float16, torch.bfloat16):
    a = torch.randn(n, n, device='cuda', dtype=dtype)
    b = torch.randn(n, n, device='cuda', dtype=dtype)
    for _ in range(3): a @ b
    torch.cuda.synchronize()
    times = []
    for _ in range(5):
        start = time.perf_counter(); a @ b; torch.cuda.synchronize()
        times.append(time.perf_counter() - start)
    med = statistics.median(times)
    print(dtype, round(2 * n**3 / med / 1e12, 2), 'TFLOPS')

llama-benchでプリフィルとデコードを測ります

`llama-bench`は同じモデルでプリフィルとデコードを分けて表示します。`-p 4096 -n 128 -r 5`のように文脈と反復回数を固定し、モデル・量子化・電力上限を前後で同一にします。モデルはカードにあるGGUFを使ってください。

llama.cppの量子化カーネルにはBF16行列積を使わない経路が多いです。そのためGEMMで大きな差が出ても、llama-benchのデコードがそのままのことがあります。この差を説明できて初めて結果を解釈できます。

llama-bench -m /path/to/model.gguf -p 4096 -n 128 -r 5

コールドブート後にログを確認します

アンロックは完全に電源を切ってから再起動すると適用されます。起動後に`journalctl -k -b | grep gpu_unlock`でモジュールログを、`lspci -nnk -s <PCIアドレス>`でドライバーのバインドを確認します。`nvidia-smi`でカードが正常に見えるかも確認してください。

Xidエラーやドライバーリセットが見えたら実験を中止してください。同じ電源サイクルで既にドライバーが使ったカードは拒否されるため、再試行前に必ず電源を切ります。

journalctl -k -b | grep gpu_unlock
lspci -nnk -s 0000:21:00.0
nvidia-smi

元に戻す方法と失敗時の復旧

問題が起きたらカーネルコマンドラインから`gpu_unlock.targets=`を消して再起動します。パッケージを削除するとモジュールとinitramfs設定も整理されます。画面が出ない場合はブートローダーの編集画面で一時的にオプションを消して起動します。

ファームウェアが停止しなかったというログが残ると、次の電源断までDMAバッファが保持されます。再試行前に電源を切り、可能なら試験用カードで先に確認してください。

記録様式

以下の項目を前後で二回記録すると比較が再現できます。同じ値でなければ差を先に説明し、説明できなければアンロックの効果として計算しません。

よくある質問

この記事で最初に確認すべきことは何ですか？

アンロック前後の比較は条件を固定することから始まります。カーネル・ドライバー・VBIOS・電力上限・文脈長を記録し、torch GEMMで行列演算を、llama-benchでプリフィルとデコードを測ります。コールドブート後にログを確認し、失敗したらカーネルコマンドラインからオプションを消して戻します。

要点

1. 改造カードは通常のGPUではありません。起動と画面出力だけでは合格を判断できません。
2. 検査項目は49152MiBの報告、演算能力8.6、92〜95%のメモリ割り当て、ドライバー・PCIe・Xidログです。
3. 帯域幅は936GB/sのままでデコードは速くならず、利点は大きなモデルを常駐させられる容量です。

48GB改造はメモリチップの交換作業です

48GB改造はソフトウェア設定ではなく、カードのGDDR6Xチップを交換する物理作業です。成功するとドライバーがメモリ容量を`49152MiB`と報告し、PyTorchなどのフレームワークも同じサイズを認識します。カーネルモジュールで演算率を開くアンロックとは全く別の作業です。

メモリ帯域幅は24GBモデルと同じ936GB/sです。1トークンずつ生成する速度はこの帯域幅が決めるため、改造でデコードが速くなることはありません。増えるのは1枚に常駐させられるモデルの大きさです。

• RTX 3090 24GBのメモリ・速度・価格
• LLMのメモリ帯域幅 vs 演算性能：速度のボトルネックを見つける方法
• 複数のGPUでローカルLLMを動かすには
• 3090アンロックでローカルLLMは速くなる？プリフィル・バッチ・デコード

起動成功は合格の証拠ではありません

改造カードは起動して画面が出ても、受け取りの段階で落ちることがあります。検証ツールを作った側は、失敗の型としてドライバーが誤ったメモリサイズを報告する、CUDAが想定より少ないVRAMしか見ない、大容量割り当てでクラッシュする、OSログにNVIDIA・WHEA・Xid・PCIeエラーが残る場合を挙げています。

そのため検査は短い確認と長いストレス試験の2段階で回します。短い検査で基本状態を見て、ストレス試験で大容量割り当てを長時間維持し、再起動してもう一度確認する順序です。

受け取り前の検査項目

ツールは、GPU名に`3090`が含まれるか、VRAMが約`49152MiB`と報告されるか、PyTorch CUDAが同じサイズを見るか、演算能力が3090相当の`8.6`か、既定設定で目標メモリの92%まで書き込めるかを確認します。PCIeリンク、VBIOS、ドライバー、電力、温度、使用率も記録します。

OSログの確認も項目です。LinuxではNVIDIA・Xid・PCIeのカーネルエラーを、WindowsではNVIDIA・Display・WHEA・PCIeのシステムイベントを確認します。ログを読む権限がなく確認できなかった項目は通過扱いにせず、人による再確認に回します。

検査の実行と判定

作業場では短い検査を先に実行し、受け取り用にはストレスを長めに取ります。ツールは`--stress-seconds 1800 --vram-fraction 0.95`のように時間と割り当て比率を指定でき、`--expected-memory-mib 49152 --memory-tolerance-mib 1024`で期待容量と許容誤差を変更できます。レポートは`reports/`にMarkdownとJSONで残ります。

判定は三つです。失敗も警告もなければ`ACCEPT`、強い失敗はないが人が確認すべき項目があれば`REVIEW`、必須検査が一つでも失敗すれば`REJECT`です。`REJECT`は受け取らず、`REVIEW`はPCIe警告・温度・権限の問題を確認してから決めます。

chmod +x install.sh gpu-validator.sh
./install.sh
./gpu-validator.sh --quick
./gpu-validator.sh --stress-seconds 1800 --vram-fraction 0.95
# 재부팅 후 같은 카드에서 다시 확인
./gpu-validator.sh --quick

容量は増え、速度はそのままです

改造の利点は一つです。24GBに収まらなかったモデルを1枚に載せられます。24GBを2枚でテンソル並列にする方法と違い、カード間通信が不要で、分割による同期コストもありません。代わりに電力と発熱は1枚に集中します。

速度を期待すると裏切られます。当サイトで公開した3090の測定でも、デコードは350Wで68.9 tok/s、250Wで51.0 tok/sと電力上限に従い、メモリ容量が速度を変えることはありませんでした。改造カードも同じ帯域幅の上にあります。

改造カードに残るリスク

改造カードはメーカー保証の対象外です。ドライバーやカーネルを更新した後にメモリ報告が変わる例もあり、その場合は同じ検査をやり直す必要があります。販売者の保証文言が「正常動作」ではなく「49152MiBの報告とストレス通過」のように検査結果を示しているか確認してください。

中古で売るときも同じレポートが必要です。検査記録を残せば、引き取り手と販売者の双方が同じ条件を確認できます。売る前にも同じ検査を回しておけば、条件をそのまま示せます。

よくある質問

この記事で最初に確認すべきことは何ですか？

48GB改造はメモリチップを実際に交換する作業で、ドライバーが49152MiBと報告するかが最初の関門です。起動と画面出力ができても、大容量の割り当てや長時間負荷で失敗することがあるため、受け取る前に決められた検査を実行し、レポートを残す必要があります。帯域幅は24GBモデルと同じでトークン生成は速くなりませんが、大きなモデルを1枚に載せられる点が利点です。

必要なメモリはどのくらいですか？

48GB改造はソフトウェア設定ではなく、カードのGDDR6Xチップを交換する物理作業です。成功するとドライバーがメモリ容量を`49152MiB`と報告し、PyTorchなどのフレームワークも同じサイズを認識します。カーネルモジュールで演算率を開くアンロックとは全く別の作業です。

選ばないほうがよいのはどのような場合ですか？

改造の利点は一つです。24GBに収まらなかったモデルを1枚に載せられます。24GBを2枚でテンソル並列にする方法と違い、カード間通信が不要で、分割による同期コストもありません。代わりに電力と発熱は1枚に集中します。

要点

1. コミュニティ測定では、NVLinkはデコード処理量を約5%上げ、p95遅延を減らしました。
2. ブリッジなしでもPCIeでテンソル並列は動作し、既定構成ではP2Pは無効です。
3. P2Pが実際に有効かは、ドライバー・NCCL・vLLMの3層で別々に確認する必要があります。

NVLinkブリッジがする仕事

RTX 3090はGA102ベースのNVLink 3.0に対応し、1組のカードが112.5Gbit/sのリンクを4本束ねて合計112.5GB/sの双方向（方向あたり56.25GB/s）で通信できます。PCIe 4.0 x16が方向あたり約32GB/sであるのと比べると、カード間の専用経路ははるかに広いです。

3090にNVLinkコネクターがあることと、ブリッジが装着されていることは別の話です。まとめ資料には「ブリッジを物理的に取り付ける必要があり、多くの消費者構成にはない」と書かれています。ブリッジがなければマルチカード構成はPCIeで動作します。

• RTX 3090 24GBのメモリ・速度・価格
• コンテキスト長・RoPE・スライディングウィンドウ
• プリフィルとデコードの違い：TTFTとtok/sのどちらを見る？
• LLMのメモリ帯域幅 vs 演算性能：速度のボトルネックを見つける方法

実測：TP=2でのNVLinkの有無

2×3090でvLLMのテンソル並列（TP=2）を使い、同じモデルを回したコミュニティ測定があります。Devstral Small 2505 Q8_0、コード生成プロンプト50件、応答平均約1650トークンの条件で、NVLinkありが85.0 tok/s、PCIeのみが81.1 tok/sでした。差は約5%です。

より目立つのはテール遅延です。95パーセンタイルの応答時間はNVLinkありが239.1秒、なしが277.6秒で、NVLinkの方が安定していました。平均処理量より長いリクエストのばらつきが重要な用途なら、この差に意味があります。測定者は、推論だけが目的ならブリッジよりVRAMやカードに使う方がよいと結論づけています。

既定はPCIeでP2Pは無効です

2×3090の運用資料によると、既定のデュアル・マルチカード経路はPCIe専用でP2Pは無効です。`NCCL_P2P_DISABLE=1`でカスタムオールリデュースも無効になっており、調整なしでどの消費者構成でも安定して動く側を既定にしています。

同じ資料には、PCIeでもP2Pを有効にするとワークロード次第で数%から20%程度まで伸び得ると書かれています。強調されているのは順序です。まず既定のPCIe経路で正常動作を確認し、その後トポロジーを読み、P2Pを有効にして比較すると問題を切り分けやすくなります。

P2Pが有効かを確認する3層

P2Pは一つの問いではなく三つが重なっています。第一にドライバーがGPU間の直接アクセスを許可したか、第二にNCCLがその経路を実際の転送に使うか、第三にvLLMのカスタムオールリデュースカーネルが追加で有効かです。これらを混同すると「P2Pは有効なのに速くならない」理由を説明できなくなります。

vLLM側のゲートはNVLinkという名前で検査しますが、その検査は高コストな条件をふるい落とすための事前フィルターです。そのため3枚以上のPCIe構成では、完全接続のNVLinkメッシュではないという理由でカスタムオールリデュースは設計上無効になります。設定ミスではなく意図された動作で、その構成でもP2Pの利得はNCCL層に流れ得ます。

TP=2を有効にする条件とコスト

vLLMのテンソル並列は重みをカード数で分割して載せる方式です。カードごとに確保できるKVキャッシュの空間が増える代わりに、同期のオーバーヘッドが大きくなり得るとvLLMのドキュメントは説明しています。文脈長と同時リクエスト数を合わせて調整して初めて実際の利得が出ます。

チャンクプリフィルを有効にすると、演算ボトルネックのプリフィルと帯域ボトルネックのデコードを分けて混ぜ、両方の資源を使えます。電力はカードごとにかかるため、2枚なら合計電力とケース内の発熱も見る必要があります。上のチャートのように、3090は電力上限を下げるとデコードも落ちます。

nvidia-smi topo -m
nvidia-smi topo -p2p rw

CUDA_VISIBLE_DEVICES=0,2 CUDA_DEVICE_ORDER=PCI_BUS_ID \
vllm serve /models/model.gguf \
  --tensor-parallel-size 2 \
  --max-num-seqs 4 --max-model-len 64000 \
  --gpu-memory-utilization 0.95 \
  --max-num-batched-tokens 16384 --enable-chunked-prefill \
  --quantization gguf

それでブリッジを買うべきか

推論が目的なら、ブリッジは最後に検討する項目です。測定で得られたのは約5%の処理量とより良いテールで、それより大きな差は24GBを2枚に分けて載せられるモデルか、1枚でより大きなモデルを載せるかで生まれます。2枚使う場合はまず既定のPCIe経路で正常動作を確認してください。

学習やファインチューニングのようにカード間通信が動き続ける作業は話が別です。NVLinkの帯域の利点は推論より学習で大きく出るというのが一般的な評価で、上の測定も推論では差が5%にとどまったと結論づけています。用途が推論か学習かを先に決めてから判断してください。

よくある質問

この記事で最初に確認すべきことは何ですか？

RTX 3090はNVLink 3.0コネクターを備えていますが、ブリッジを実際に取り付ける必要があり、多くの消費者構成にはありません。2×3090のvLLMテンソル並列のコミュニティ測定では、NVLinkが85.0対81.1 tok/sと約5%先行し、p95は239.1対277.6秒と安定していました。マルチGPUの既定経路はPCIeで、P2Pは無効のまま動作します。

要点

1. 期間限定無料、日間の無料枠、開発用体験では利用条件が異なります。
2. モデルIDとプランを確認し、自動チャージは無効にしておきます。
3. 無料APIには、公開しても問題のないコードや文書から送ります。

モデルをダウンロードする前に回答を試せる

無料オープンウェイトモデルAPIを使うと、重みが公開されたモデルに質問やコードを送り、サービス提供者のサーバーで生成した回答を受け取れます。大きなGPUやモデルファイルを用意する前に、公開コードの不具合を探したり、短い文書を要約したりできます。このガイドでは、サービスと無料利用の条件を選ぶための情報をまとめました。

たとえばOpenCodeではMITライセンスのDeepSeek V4.1 Flash、GroqではApache 2.0で公開されたGPT-OSSを試せます。重みをダウンロードして実行するときはモデルのライセンスに従い、APIではサービスの利用条件やデータ処理方針も適用されます。

• DeepSeekの公開モデル
• GPT-OSSの公開モデル
• 中国のAI輸出規制、OpenRouterで使っているモデルはどうなる？
• ローカルRAG構築ガイド：手元の文書に答えるAIを作る手順
• ローカルLLMとは？インストール・PC仕様・モデル選びから速度確認まで

無料提供の方式からサービスを選ぶ

コーディングツールで使うならOpenCode、複数モデルを共通のAPI形式で試すならOpenRouterから検討できます。Groqはモデル別のリクエスト・トークン上限を公開し、NVIDIAは新しいNemotronの開発用無料エンドポイントを提供しています。MistralはアカウントのFree modeで制限付きAPI利用を認めています。

2026年10月16日時点の情報です。提供モデルや無料方針が変わった場合は、各サービスのモデル一覧とアカウントの上限を確認してください。

Hugging Face Inference Providersは現在、通常のFreeアカウントに月間クレジットが含まれないため、この無料API一覧から除いています。公開モデルファイルのダウンロードは別の機能として利用できます。

• Hugging Faceの料金と含まれるクレジット

リクエスト数より先にトークン上限に達することがある

OpenRouterの無料モデルは毎分最大20回で、累計購入額が10ドル未満なら1日50回です。累計10ドル以上購入したアカウントは1日1,000回になりますが、枠を増やすために購入する前に基本の無料枠から始められます。

Groqの公開Free Plan表では、GPT-OSSの2モデルはそれぞれ毎分30回、1日1,000回、毎分8,000トークン、1日200,000トークンです。呼び出し回数が残っていても、長い文書1つで分間トークン上限に達することがあります。アカウントのLimitsで実際のモデル別上限を確認し、入力長と送信間隔を調整してください。

エージェントは1つの作業でも、ファイル読取、結果確認、修正依頼を何度もやり取りします。最初は短いコードのレビューを1件だけ依頼し、利用履歴で呼び出し回数とトークン使用量を確認しましょう。`429`が返ったら自動反復を止め、応答に示された再試行の案内に従ってください。

• OpenRouterの無料上限
• Groqのモデル別上限

無料だけで試すなら自動切り替えを無効にする

モデルIDを無料項目に固定し、エラー後にアプリが別モデルへ切り替えるか確認してください。OpenRouterでオープンウェイトモデルを比較するなら、そのモデルの`:free`付きIDを指定します。無料ルーターはリクエストごとにモデルを自動選択するため、同じオープンウェイトモデルを比較し続けるには個別IDが必要です。OpenCodeでは`deepseek-v4.1-flash-free`を選びます。有料モデルをフォールバック一覧に入れなければ、無料リクエストの失敗から意図しない課金呼び出しにつながるのを防ぎやすくなります。

アカウントの自動チャージも無効にしておきます。OpenCodeなどのコーディングツールでは、セッションのタイトル生成などに別モデルを使う場合があります。利用履歴全体でモデルIDと料金を確認し、1回のリクエストだけを分けて試すなら各ガイドの直接API例を使ってください。

• OpenCodeの自動チャージ設定
• 無料モデルと補助リクエストの案内

データ処理条件に合うサンプルから始める

秘密キーや個人情報を除いた公開サンプルから始めましょう。OpenCodeの無料DeepSeek提供者は保存・学習利用を行わない方針ですが、NVIDIAの無料エンドポイントは開発・試験向けで、セッション情報がセキュリティや製品改善のために記録される場合があります。NVIDIAは個人情報や機密情報を送信しないよう案内しています。

Mistral Free modeの入力と出力は学習に使われる場合があります。Admin → PrivacyのAnonymous improvement dataを確認し、学習利用を望まない場合は無効にしてから使ってください。OpenRouterでは実際に処理するプロバイダーによって条件が異なるため、モデルページのデータ処理方針も読みましょう。

• Mistralの学習利用方針
• Mistralの学習利用設定
• 無料提供者ごとのデータ方針

作業に合うか試してからローカル実行を決める

比較するときは同じコードと質問を送り、不具合を正しく見つけたか、修正案が実際のテストを通るかを記録してください。各ガイドのPython例は回答全体を受け取ってから表示するため、応答が完了するまでの時間を比べます。最初のトークンが届くまでの時間を測るには、別途ストリーミング応答の設定が必要です。無料APIの応答時間にはサーバーの待ち行列や通信の遅延も含まれます。手元のGPUの速度は、同じモデルをローカルで実行して別に比較しましょう。

公開資料を時々扱うなら、まず無料枠で足りるか試しましょう。作業量が増えて上限で頻繁に止まる場合や、資料を外部へ送れない場合は、[ローカルLLMエージェント入門](/guides/local-ai-agent-first-guide)で導入の流れを確認できます。モデルが決まったら、[機器選び](/?tab=finder)と[速度比較](/compare/hardware-speed-comparison)で手元で使える構成を調べられます。

よくある質問

この記事で最初に確認すべきことは何ですか？

OpenCode、OpenRouter、Groq、NVIDIA、Mistralで公開モデルを試し、自分の作業に合うか判断できます。

選ばないほうがよいのはどのような場合ですか？

OpenRouterの無料モデルは毎分最大20回で、累計購入額が10ドル未満なら1日50回です。累計10ドル以上購入したアカウントは1日1,000回になりますが、枠を増やすために購入する前に基本の無料枠から始められます。

条件と出典はどこで確認できますか？

たとえばOpenCodeではMITライセンスのDeepSeek V4.1 Flash、GroqではApache 2.0で公開されたGPT-OSSを試せます。重みをダウンロードして実行するときはモデルのライセンスに従い、APIではサービスの利用条件やデータ処理方針も適用されます。

要点

1. 無料版の正確なIDはdeepseek-v4.1-flash-freeです。
2. 期間限定で、終了日や保証される呼び出し回数は公表されていません。
3. 1回のリクエストの料金を分けて確認するなら、直接APIを呼ぶ例から始められます。

OpenCodeからコードを送り、DeepSeekにレビューを依頼する

OpenCodeはプロジェクトのファイルを読み、コードの説明や修正を手伝うAIコーディングツールです。**DeepSeek V4.1 Flash Free**を接続すると、モデルファイルをダウンロードせずにコードと質問を送り、レビューを受けられます。OpenCodeがリクエストを準備し、クラウドで動くモデルが回答を生成します。

DeepSeek V4.1 FlashはMITライセンスで重みが公開されています。大きなモデルを手元で動かす準備に負担を感じるなら、無料APIで回答を先に試せます。ここでは、公開しても問題のない短いPython関数の不具合を探す作業から始めます。

• DeepSeekのモデルとライセンス
• Groqの無料APIでGPT-OSSを試す: アカウント準備から最初の応答まで
• OpenRouterの無料オープンウェイトモデルをコードレビューAPIにつなぐ
• ローカルLLMに必要なVRAM・ユニファイドメモリ容量

末尾にFreeが付くモデルを選ぶ

2026年10月16日時点で、OpenCodeはDeepSeek V4.1 Flash Freeの入力、出力、キャッシュ読み取りを無料で提供しています。モデル選択画面でFreeまで確認しましょう。通常のDeepSeek V4.1 Flashは別の有料項目として表示されます。

期間限定のプロモーションです。終了日や保証される分間・日間の呼び出し回数は公表されていないため、長時間の自動処理より、モデルを試す用途から始めましょう。

• モデル一覧と無料提供方針

OpenCodeで接続し、モデルを指定する

初めてインストールする場合は、ターミナルで`node --version`と`npm --version`を実行し、Node.jsとnpmが使えるか確認します。両方のバージョンが表示されたら、次のコマンドでOpenCode V2をインストールしてください。既存ユーザーは先にV2のインストール・移行案内を読みましょう。非公開リポジトリではなく、公開サンプルをコピーした別フォルダーから始めるとよいでしょう。

npm install -g @opencode/cli

サンプルフォルダーで`opencode`を起動し、`/connect`を入力します。OpenCode pay-as-you-goプロバイダーを選び、Consoleで発行したAPIキーを接続してください。続いて`/models`でDeepSeek V4.1 Flash Freeを選びます。支払いやチャージを求められたら、無料利用の条件を確かめてから進み、この例のためにすぐ購入しないようにしましょう。

毎回同じモデルで始めるには、プロジェクトの`opencode.jsonc`で次の`model`値を指定できます。既存設定がある場合はファイル全体を上書きせず、この項目を追加・変更してください。新しいセッションでもモデル名にFreeが表示されるか確かめます。

{
  "$schema": "https://opencode.ai/config.json",
  "model": "opencode/deepseek-v4.1-flash-free"
}

• V2のインストール
• モデル選択と設定

編集を任せる前に不具合の説明を依頼する

次の関数をサンプルフォルダーの`average.py`に保存します。質問を送る前に`/agents`でPlanを選ぶと、通常のプロジェクトファイルを編集せず、内容を調べるところから始められます。

def average(values):
    return sum(values) / len(values)

OpenCodeで`@`を入力して`average.py`を添付し、「空のリストを渡したときの問題と修正方法を説明して。ファイル編集とコマンド実行はしないで」と依頼します。今回の作業でコマンド実行の確認が出たら拒否してください。回答では、空のリストの長さが0になることと、0で割る演算との関係を説明しているか確認します。

レビューが役に立つようなら、次に修正案を依頼します。OpenCodeに変更を反映してもらう場合は、ファイル編集を許可するエージェントへ切り替え、変更の要求を承認してください。Gitリポジトリでは`git diff`で差分を読み、通常のサンプルフォルダーでは編集前後のファイルを直接比べます。空のリストと通常のリストを渡すテストも実行し、修正結果を確かめましょう。

• ファイル添付とTUI操作
• Planエージェント

無料リクエストと自動チャージを分けて管理する

ConsoleのSettings → BillingでAuto-rechargeのルールを確認し、無料評価だけに使うアカウントでは無効にします。OpenCodeはセッションのタイトル生成に別の低価格モデルを使う場合があります。利用履歴で本文の回答と補助リクエストのモデルID・料金を併せて確認してください。

リクエストを分けて確認するには、次のように無料モデルのAPIだけを直接呼べます。Python 3の標準ライブラリを使い、キーは実行時に非表示で入力します。`opencode-free-check.py`として保存し、`python3 opencode-free-check.py`で実行してください。リクエストは1回のみで、自動再試行や有料モデルへの切り替えは行いません。

import getpass
import json
import urllib.request

key = getpass.getpass('OpenCode API key: ')
payload = {
    'model': 'deepseek-v4.1-flash-free',
    'messages': [{'role': 'user', 'content':
        'Review this Python function for empty-list handling:\n'
        'def average(values):\n    return sum(values) / len(values)'}],
    'max_tokens': 2048,
}
request = urllib.request.Request(
    'https://opencode.ai/inference/openai/v1/chat/completions',
    data=json.dumps(payload).encode(),
    headers={'Authorization': 'Bearer ' + key,
             'Content-Type': 'application/json'},
)
with urllib.request.urlopen(request, timeout=120) as response:
    result = json.load(response)
choice = result['choices'][0]
print(choice['message'].get('content') or '(empty content)')
print('finish_reason:', choice.get('finish_reason'))

正常な応答では`choices[0].message.content`にレビュー文が入ります。`finish_reason`が`length`、または回答が空の場合は、推論が出力枠を使い切った可能性があるので短い入力で試してください。認証エラーはキーとアカウントを、上限エラーは無料項目の提供状況と再試行案内を確認します。

• 自動チャージと支払い設定
• 予算管理

送信するコードとローカルで扱うコードを分ける

DeepSeekの無料項目の提供者は、リクエスト内容を保存せず、モデル学習にも使わない方針を示しています。コードはクラウドに送られるため、まず秘密キーや顧客情報を含まない公開サンプルを使いましょう。MiMoやNVIDIAなど、ほかの無料項目はデータ処理条件が異なるので、モデルを変えるときに確認してください。

公開プロジェクトのコードを時々レビューしてもらうなら、この無料経路から試せます。非公開資料を外部に送れない場合や、プロバイダーの呼び出し枠を使わず手元で動かしたい場合は、[ローカルエージェント入門](/guides/local-ai-agent-first-guide)へ進んでください。他社の上限と接続方法は[無料オープンウェイトサービス比較](/guides/free-open-weight-ai-services-guide)にまとめています。

• モデル別のデータ処理方針

ハードウェア別速度チューニングおよびサーバーリシピ要約

重み、KVキャッシュ、プリフィルバッチ、同時リクエストと加速機能を分離し、バランス・速度・長い文脈プロファイルで提供します。

詳細ページでは、プロフィールごとの実行コマンド、設定値、停止条件、測定手順を確認できます。コマンドはモデルファイルと実行環境が確認できた組み合わせにのみ表示します。

よくある質問

この記事で最初に確認すべきことは何ですか？

OpenCodeでDeepSeek V4.1 Flash Freeを選ぶと、クラウドモデルにコードレビューを依頼できます。

要点

1. モデルID末尾の`:free`は無料エンドポイントで、`openrouter/free`はリクエストに合う無料モデルを選ぶ動的ルーターです。
2. OpenRouterの無料枠は標準で毎分20回、1日50回までです。クレジットの累計購入額が10ドル以上になると、1日の上限は1,000回に増えます。
3. OpenRouterは入力・出力を自社の学習に使わないと説明していますが、各リクエストはモデルプロバイダーへ送られます。このレビュー例には公開コードを使い、プロバイダーの方針を確認してください。

公開コードを送り、レビューを受け取ります

OpenRouterは複数のモデルプロバイダーの推論APIを共通のリクエスト形式でつなぎます。公開コードとレビュー指示を送ると、モデルの指摘が応答として返ります。このガイドではLlama 3.3 70B Instructの無料版を指定し、短いPythonコードをレビューするAPIリクエストを作ります。

Llama 3.3は重みを公開しており、Meta Llama 3.3 Community Licenseに従って利用します。OpenRouterの`:free`はホストAPIのトークン料金が0であることを示します。[Meta Llama 3.3モデルカード](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct)・[OpenRouter無料エンドポイント](https://openrouter.ai/meta-llama/llama-3.3-70b-instruct:free)

• Groqの無料APIでGPT-OSSを試す: アカウント準備から最初の応答まで
• DeepSeek V4.1 Flashを無料で使うには？OpenCode接続ガイド
• ローカルLLMに必要なVRAM・ユニファイドメモリ容量
• UltraBERT-Embed-150Mで英語文書を検索する

モデルIDと無料ルートを選びます

モデルID末尾の`:free`は、そのモデルの無料ホスト版です。`openrouter/free`は各リクエストに合う無料モデルを選ぶルーターなので、実際に使われるモデルは呼び出しごとに変わることがあります。コードレビューを比較・再現するなら、この例のように具体的な無料モデルIDを指定します。自動選択を使う場合も、重みの公開状況は別に確認してください。例のレビュー指示文は英語で書いています。

Python標準ライブラリで最初のリクエストを送ります

Python 3、インターネット接続、OpenRouterアカウントで作成したAPIキーが必要です。このスクリプトはPython標準の`urllib`でリクエストを送り、SDKのインストールは不要です。`getpass`は入力中のキーを画面に表示しないため、コマンド履歴やソースファイルにキーを書く必要がありません。この例では、公開してもよい短いPython関数だけをAPIに送ります。

コードを `review.py` として保存し、ターミナルで `python3 review.py` を実行します。入力を求められたら API キーを入力して Enter を押します。

キーを共有ドキュメントやリポジトリに保存しないでください。すでに公開してしまった場合は、OpenRouter のダッシュボードでキーを無効にし、新しいキーを作成します。

import getpass
import json
import urllib.request

api_key = getpass.getpass("OpenRouter API key: ")
payload = {
    "model": "meta-llama/llama-3.3-70b-instruct:free",
    "messages": [
        {
            "role": "user",
            "content": (
                "Review this public Python example for correctness. State one concrete issue, "
                "if any, and suggest a minimal fix:\n\n"
                "def percentage(part, total):\n"
                "    return part / total * 100\n"
            ),
        }
    ],
    "max_tokens": 200,
}
request = urllib.request.Request(
    "https://openrouter.ai/api/v1/chat/completions",
    data=json.dumps(payload).encode("utf-8"),
    headers={
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json",
    },
    method="POST",
)
with urllib.request.urlopen(request, timeout=60) as response:
    result = json.load(response)
print(result["choices"][0]["message"]["content"])

正常な応答と最初のエラーを見分けます

成功すると、ターミナルにコードレビューが出力されます。応答JSONの`choices[0].message.content`にレビュー本文が入り、`usage`にトークン情報が含まれることがありますが、現在のスクリプトはレビュー本文だけを出力します。

トークン情報も表示するには、スクリプト末尾の`print(result["choices"][0]["message"]["content"])`の次の行に`print(result.get("usage"))`を追加します。

`total`が0のときのゼロ除算と条件チェックを指摘する回答が期待できますが、修正案はコードとテストで確認してください。

`HTTP Error 401`の場合は、キーが正しく有効か、`Bearer `の後に空白があるかを確認します。`HTTP Error 429`は毎分20回または1日の上限に達した可能性があります。無料枠が回復するまで自動再試行を止め、リクエスト数を減らしてください。`No endpoints found`やモデルエラーが出たら、該当する`:free`エンドポイントが現在利用可能か、必要な機能やプロバイダーフィルターが合っているかを確認し、利用可能な無料モデルIDを選び直します。

無料枠内で費用を0に保ちます

2026年10月16日時点のOpenRouter料金案内では、標準アカウントの無料モデル枠は毎分20回、1日50回です。失敗したリクエストも1日の上限に含まれます。クレジットを累計10ドル以上購入すると無料モデルの上限は1日1,000回に増えます。無料枠で試すなら、クレジットを購入しない方が費用を管理しやすくなります。

この例ではモデル文字列`meta-llama/llama-3.3-70b-instruct:free`を保ち、別のモデルを選ぶ際も表示価格を確認してください。`meta-llama/llama-3.3-70b-instruct`のように`:free`がないIDは有料ルートの場合があります。OpenRouterの無料プランには予算・支出制御機能が表示されていないため、試用中はクレジットを追加せず、自動チャージも設定しないでください。Activityで利用モデルと費用を確認し、有料モデルを自動フォールバック先に加えないようにします。

モデルプロバイダーに送るコードと個人情報を管理します

OpenRouterは入力・出力を自社モデルの学習に使わないと説明していますが、リクエストは選択したモデルプロバイダーへ送信されます。保持・学習方針はプロバイダーによって異なるため、Llama 3.3のモデルページで提供者の説明を読み、公開コードだけを送ってください。[OpenRouterプライバシーポリシー](https://openrouter.ai/privacy/)・[Llama 3.3無料エンドポイント](https://openrouter.ai/meta-llama/llama-3.3-70b-instruct:free)

プロバイダーフィルターを適用するには、リクエスト本文に `provider` 設定を追加します。`data_collection: "deny"` はデータを収集するプロバイダーを除外し、`zdr: true` は Zero Data Retention ポリシーを持つプロバイダーのみを選びます。

条件に合う無料プロバイダーがない場合はリクエストを停止します。有料モデルへ自動で切り替える fallback は設定しません。Python 例では `payload` を作成した後、`request = urllib.request.Request(` の行の直前にコードを追加します。[プロバイダーのデータ収集制御](https://openrouter.ai/docs/guides/features/sovereign-ai)

payload["provider"] = {
    "data_collection": "deny",
    "zdr": True,
}

無料APIで試す作業と別の方法を選ぶ場面を分けます

1日50回の枠内で公開コードのバグ候補を尋ねたり、プロンプトや出力形式を調整したりする作業には無料APIが向いています。

リクエスト数が増えたり、遅延、プロバイダー、データ保持条件を一定に管理する必要が出てきたら、最新のモデルページと有料プランの制御機能を比較してください。推論料金をかけずに内部コードをリポジトリ外へ出さずに確認したい場合は、ローカルモデルが適しています。無料モデルや提供先は変わるため、実運用の前に[無料モデル一覧](https://openrouter.ai/collections/free-models/)と[料金・上限](https://openrouter.ai/pricing)を確認してください。

ハードウェア別速度チューニングおよびサーバーリシピ要約

重み、KVキャッシュ、プリフィルバッチ、同時リクエストと加速機能を分離し、バランス・速度・長い文脈プロファイルで提供します。

詳細ページでは、プロフィールごとの実行コマンド、設定値、停止条件、測定手順を確認できます。コマンドはモデルファイルと実行環境が確認できた組み合わせにのみ表示します。

よくある質問

この記事で最初に確認すべきことは何ですか？

OpenRouterは複数のモデルプロバイダーの推論APIを共通のリクエスト形式でつなぎます。このレシピではMeta Llama 3.3 70B Instructの`:free`版を指定して公開Pythonコードをレビューし、リクエスト本文、無料枠、プロバイダーのプライバシー方針を確認します。

選ばないほうがよいのはどのような場合ですか？

キーを共有ドキュメントやリポジトリに保存しないでください。すでに公開してしまった場合は、OpenRouter のダッシュボードでキーを無効にし、新しいキーを作成します。

条件と出典はどこで確認できますか？

Llama 3.3は重みを公開しており、Meta Llama 3.3 Community Licenseに従って利用します。OpenRouterの`:free`はホストAPIのトークン料金が0であることを示します。[Meta Llama 3.3モデルカード](https://huggingface.co/meta-llama/Llama-3.3-70B-Instruct)・[OpenRouter無料エンドポイント](https://openrouter.ai/meta-llama/llama-3.3-70b-instruct:free)

要点

1. 現在の公開Free Plan表では、`openai/gpt-oss-20b`と`openai/gpt-oss-120b`に同じリクエスト・トークン上限が示されています。
2. Python SDKでキーを非表示入力し、最終回答とあわせて`finish_reason`を確認します。

Groq APIで公開ウェイトモデルにリクエストします

Groq APIは会話メッセージとモデルIDをHTTPSリクエストで送り、GroqCloudがホストするモデルの回答を返すサービスです。ここではPythonから`openai/gpt-oss-20b`に短いコードレビューを依頼し、回答テキストと終了状態を読み取ります。

GPT-OSS 20Bと120BはApache 2.0ライセンスでウェイトが公開されており、自分のコンピューターでも実行できます。GroqCloud APIでは、`openai/gpt-oss-20b`と`openai/gpt-oss-120b`というモデルIDでホスト推論を呼び出します。[OpenAIの公開ウェイトモデル案内](https://help.openai.com/en/articles/11870455-openai-open-weight-models)と[GPT-OSS 20Bモデルカード](https://huggingface.co/openai/gpt-oss-20b)

• Groqの対応モデルとAPI ID
• OpenRouterの無料オープンウェイトモデルをコードレビューAPIにつなぐ
• DeepSeek V4.1 Flashを無料で使うには？OpenCode接続ガイド
• ローカルLLMに必要なVRAM・ユニファイドメモリ容量
• NVIDIA Nemotronの無料APIを試す: 開発用エンドポイントへ最初のリクエスト

Free Planの上限からモデルを選ぶ

Groqが公開するFree Planの概要では、2つのGPT-OSSモデルのリクエスト数とトークン上限は同じです。RPMは1分あたりのリクエスト数、RPDは1日あたり、TPMは1分あたりのトークン数、TPDは1日あたりのトークン数です。

この無料枠の表は組織単位の公開概要です。アカウントに適用される現在の値は[Groq ConsoleのLimits画面](https://console.groq.com/dashboard/limits)で確認してください。入力と生成結果を合わせて1分あたり8Kトークンの枠を使うため、長いファイル全体ではなく、該当する関数とエラー説明から送るとよいでしょう。

• Groqのプラン別レート制限

アカウントとAPIキーを準備する

GroqCloudアカウントでFree Planの表示を確認し、API Keysからキーを作成します。Groqによると、有料のDeveloperプランへアップグレードするには支払い方法が必要です。無料枠で始めるときはアカウントのプラン表示を確認し、支払いやアップグレード画面が出た場合は、意図した利用条件か確かめてから進めてください。[Groqの請求案内](https://console.groq.com/docs/billing-faqs)

以下のインストールコマンドはmacOSまたはLinuxのシェル向けです。APIキーはコードに書かず、実行時の非表示入力で渡すと、コマンド履歴やソースファイルに残りません。次の節で例を保存した後も、仮想環境を有効にした同じ端末で`python groq_review.py`を実行してください。別のPython環境から実行すると、インストール済みの`groq`パッケージが見つからないことがあります。

python3 -m venv .venv
source .venv/bin/activate
python -m pip install groq

短いコードレビューを送る

以下を`groq_review.py`として保存して実行します。`getpass`はAPIキーを画面に表示せずに受け取り、その後SDKがchat completionsエンドポイントへJSONリクエストを送信します。

from getpass import getpass
from groq import Groq

client = Groq(api_key=getpass("Groq API key: "))
completion = client.chat.completions.create(
    model="openai/gpt-oss-20b",
    messages=[
        {
            "role": "user",
            "content": (
                "Review this function for the empty-list edge case and suggest a fix:\n\n"
                "def average(values):\n"
                "    return sum(values) / len(values)"
            ),
        }
    ],
    reasoning_effort="low",
    include_reasoning=False,
    max_completion_tokens=2048,
)

choice = completion.choices[0]
print(choice.message.content or "(No final text was returned)")
print(f"finish_reason={choice.finish_reason}")
print(f"completion_tokens={completion.usage.completion_tokens}")
if choice.finish_reason == "length" and not choice.message.content:
    print("The token limit may have been used before final text; shorten the request or raise max_completion_tokens.")

python groq_review.py

• Groq Python SDKクイックスタート

応答本文と終了状態をあわせて読む

正常な応答では`choices[0].message.content`にコードレビュー文が入り、`finish_reason=stop`ならモデルが回答を完了しています。出力はモデルが生成した文章なので、変更を適用する前に実際の入力と関数の動作に照らして読んでください。

`finish_reason=length`は設定した生成トークン上限に達したことを示します。GPT-OSSはreasoningにも応答トークン予算を使うため、最終文が空なら依頼を短くするか、`max_completion_tokens`を増やして再試行します。8K TPMの上限を考慮し、出力上限は必要な回答の長さに合わせてください。

• GPT-OSSのreasoning設定とトークン指定

認証・モデル・上限エラーを見分ける

`401`の場合はキーを再入力し、API Keysで有効なキーか確認します。`400`でモデルエラーが出たら、`openai/gpt-oss-20b`の表記を[現在の対応モデル一覧](https://console.groq.com/docs/models)と照合します。

`429`は、分または日単位のリクエスト数・トークン数のいずれかの上限に達したことを示します。`retry-after`、`x-ratelimit-remaining-requests`、`x-ratelimit-remaining-tokens`ヘッダーを確認し、待ってから再送するか、入力・出力を短くします。[Rate Limitsのドキュメント](https://console.groq.com/docs/rate-limits)とConsole Limits画面で、上限の種類と残量を確認できます。

データ保持条件を見て利用場所を決める

Groqは通常のinferenceリクエストの顧客入力と出力を、デフォルトでは保持しないと説明しています。サービス安定性の確認や不正利用の調査が必要な場合、入力・出力を最大30日間一時的に記録することがあり、利用量メタデータは別途収集します。Data ControlsでZero Data Retentionを設定でき、[Groqのデータ案内](https://console.groq.com/docs/your-data)では保存が必要な機能との関係も説明されています。

機密性の高い社内コードや顧客情報を送る場合は、まず組織の転送・処理ルールを確認し、必要な部分だけをリクエストに含めます。インターネット接続なしで自分のコンピューター上で処理する必要があれば、公開ウェイトをダウンロードしてローカルランタイムを使い、モデルファイルを自分で扱わずにホストAPIを試す場合はGroqCloudを利用します。他社の条件は[無料オープンウェイトAIサービス案内](/guides/free-open-weight-ai-services-guide)で比較できます。

ハードウェア別速度チューニングおよびサーバーリシピ要約

重み、KVキャッシュ、プリフィルバッチ、同時リクエストと加速機能を分離し、バランス・速度・長い文脈プロファイルで提供します。

詳細ページでは、プロフィールごとの実行コマンド、設定値、停止条件、測定手順を確認できます。コマンドはモデルファイルと実行環境が確認できた組み合わせにのみ表示します。

よくある質問

この記事で最初に確認すべきことは何ですか？

GroqCloudは公開ウェイトモデルをクラウドでホストし、API経由で応答を返します。GPT-OSS 20BへのPythonリクエスト、公開されている無料上限、安全なキー入力、応答終了条件、データ保持条件を説明します。

条件と出典はどこで確認できますか？

GPT-OSS 20Bと120BはApache 2.0ライセンスでウェイトが公開されており、自分のコンピューターでも実行できます。GroqCloud APIでは、`openai/gpt-oss-20b`と`openai/gpt-oss-120b`というモデルIDでホスト推論を呼び出します。[OpenAIの公開ウェイトモデル案内](https://help.openai.com/en/articles/11870455-openai-open-weight-models)と[GPT-OSS 20Bモデルカード](https://huggingface.co/openai/gpt-oss-20b)

要点

1. 現在のカタログでは、Nemotron 3.5 LightningにFree EndpointとDownload Availableの両方が表示されています。
2. ホストAPIの試用条件と、ダウンロードしたウェイトのOpenMDWライセンスは分けて確認します。

テキストを送るとホストモデルが回答を返します

NVIDIA API Catalogは、NVIDIAのサーバーで動くモデルをAPIから試せる開発者向けサービスです。カタログでモデルや例を探し、PythonにAPIキーとモデルIDを指定して質問を送れます。ここではNemotron 3.5 Lightningに短い質問を送り、回答と`finish_reason`を確認します。

• NVIDIA Nemotron API Catalogと実行例
• Groqの無料APIでGPT-OSSを試す: アカウント準備から最初の応答まで
• Mistral Studioの無料APIを始める: Small 4にリクエストを送る
• ローカルLLMに必要なVRAM・ユニファイドメモリ容量

無料エンドポイントとモデル条件を確認します

現在のカタログページでは`nvidia/nemotron-3.5-lightning-30b-a3b`にFree EndpointとDownload Availableが表示されています。ホストAPIで使うIDは`nvidia/nemotron-3.5-lightning-30b-a3b`です。公開ウェイトはHugging Faceでも確認できます。ホストエンドポイントにはAPI Trial Terms、モデル資料にはOpenMDW License 1.1がそれぞれ適用されます。

Nemotron 3.5 Lightningは、合計30Bのうち3Bがアクティブなテキストモデルです。モデルカードに明記された対応言語には英語や日本語などが含まれますが、韓国語は掲載されていません。韓国語の出力が必要な場合は、公開可能な短い入力で品質を確かめてください。

• Nemotron 3.5 Lightningモデルカード
• 公開NVFP4ウェイトとOpenMDWライセンス