ローカルLLM用の機器選び：メモリ・速度・消費電力

20ページの業務PDFから更新日と根拠を探し、ときどき関数の誤りを直すことが目的なら、その2つを最後まで処理できるかで機器を評価します。公開モデルをすべて動かす最高仕様を基準に始める必要はありません。同じPDFの質問と同じコード依頼を現在のパソコンで実行します。PDF回答では日付と根拠、コード修正では既存テストの合格を確認し、モデル名・量子化³・入力長も記録します。

作業ごとに重要な確認点は異なります。

重みファイルをメモリに読み込んだ後も、実行環境の作業領域と入力・回答用のKV cache⁴を確保する必要があります。長文書は短い挨拶より多くの文脈を保持し、回答生成にも領域が必要です。そのため短い質問が成功しただけで、同じ構成が20ページのPDFも処理できるとは判断しません。モデル読み込み、文書入力、回答完了までの流れを確認します。

Macのユニファイドメモリ⁵はOSやアプリと共有され、ディスクリートGPUのVRAM⁶はシステムRAM⁷とは別です。どちらも32GBと表示されても、モデル専用に使える量が同じという意味ではありません。ブラウザーや文書ソフトを普段どおり開いておくなら、その分の余裕も残します。表示容量の全てをモデルに使えると計算せず、作業で確認します。

モデルがメモリに収まっても、待ち時間が長いと使い続けにくくなります。文書入力から最初の回答までの時間は入力を処理するprefill⁸の影響を受け、回答開始から完了までの時間はdecode⁹の影響を受けます。分けて測ると、長い入力を減らすべきか、生成の速い構成を探すべきか判断しやすくなります。

サイトの速度体験で候補を絞り、実際に使うモデルに近い条件の実行記録を確認します。モデル名が同じでも量子化、入力長、実行モードが異なれば同条件の機器比較ではありません。予想体感は候補検討の出発点として使い、自分の文書で測った記録とは分けます。

現在のPCのGPUとVRAMを確認し、使うモデルと入力が収まるか調べます。グラフィックカードだけを追加できるかも確認します。電源容量とコネクター、ケースのカード長・厚さとスロット空間、マザーボードが対応するRAM規格と空きスロット、モデルファイル用のSSD¹⁰空き容量を調べます。

現在のPCを活用する見積もりと新しいシステムを買う見積もりを分け、同じ項目で比較します。アップグレード案にはGPUと、実際に交換が必要な電源・ケース・RAM・ストレージ・冷却の費用を加えます。新しいPCやMac案には本体とメモリ・SSDの構成も含めます。中古GPUは保証や返品条件も価格の横に記録します。市場価格は確定見積もりではなく、TCO計算に含まれない本体部品費用は別途加えます。

予算が200万～300万ウォンなら、両方の見積もりが予算内か確認し、同じモデル・量子化・入力長で予想待ち時間を比べます。例の比較URLはRTX 3090 24GBとMac mini M4 32GB、Qwen 3.8 27B、文脈4096を使います。VRAMとユニファイドメモリを数値だけで同じと見なさず、アプリがCUDA¹¹またはmacOSに対応するかも確認します。どちらも予算を超えるならモデルや入力を小さくして試し、実際に不足した点を確かめてから再見積もりします。

購入後にメモリを増やしにくい機器なら、現在の作業と次に必ず試したい作業を書き出し、それぞれの容量要件を確認します。大型モデルを月に1回だけ試し、他の日は小さな文書モデルを使うなら、そのまれな試行に合わせて普段の機器を大型化する必要があるか考えます。「いつか使うかもしれない」と毎週繰り返し詰まる作業は、同じ購入理由ではありません。

一方、文書が増えるたびに同じ上限に当たり、入力を短くすると必要な根拠が消えるなら、作業を完了するためにメモリを増やす必要があるかもしれません。文書の種類と省かざるを得なかった内容を記録しておけば、次の構成を必要以上に大きくせずに繰り返す問題を解決できます。

候補を2つに絞ったら、最初に試したPDFとコードの依頼、モデルファイル、量子化、入力長を同じ条件にします。メモリ容量が大きい機器なら2つの作業が速く終わると決めつけず、初回応答の待ち時間、生成速度、作業結果を合わせて確認します。購入前にRAM、VRAMまたはユニファイドメモリ、SSDが見積もり対象の製品と一致するか確認します。

現在のパソコンで2つの作業を正確に終えられるなら、そのまま使えます。PDFを入れたときだけメモリが足りないならモデルと文脈が収まる構成を探し、回答は正しいのに待ち時間が長いなら同じモデルを実際に速くする構成を比較します。どの段階も詰まらないなら、残りの予算を使う必要はありません。