まず読み込み
ローカルLLM用の機器選び：メモリ・速度・消費電力
ローカルAIを試したくて機器を調べ始めたのに、調べるほど予算が膨らんでいく。最初は小さなMacで十分だと思っていても、誰かが大きなモデルを動かしている画面を見ると、気持ちが揺れます。どこまで買えば後悔しないのでしょうか。製品一覧を見る前に、そのPCで終わらせたい仕事を一つ、決めてみましょう。
最初に決めるのは、機器ではない
たとえば、個人のドキュメントを検索して要約したり、たまにコードを修正するという目的があると仮定しましょう。この場合必要なのは、すべての公開モデルを実行できる装置ではなく、その作業に適したモデル1つと、それを簡単に運用できる環境です。順序が逆になると、まず装置を購入してから、その容量に合うモデルを探さなければなりません。
実際にどのような質問をいくつか挙げてみますか。ドキュメント内で特定の内容を検索する、書いたコードのエラーを確認する、長い文章の草案を作成するといった、結果を確認できる質問が望ましいです。まだモデルを決定できていない場合は、このような質問に対して良好な回答をできる候補から絞り込みます。
「モデルが入る」だけでは足りないメモリ
モデルファイルがメモリに読み込まれているかを確認します。ただし、ファイルサイズがすべてではありません。実行プログラムの作業領域および入力・出力に必要なKVキャッシュが追加されます。長いドキュメントを処理する場合、短い挨拶が成功しただけでは、その容量が十分であるとは判断できません。
マックのユニファイドメモリは、オペレーティングシステムだけでなく、他のアプリも共有します。外付けGPUのVRAMはシステムRAMとは別に存在します。したがって、同じ32GBの表記を見ても、両者のモデル用の専用空間が等しいと計算しないでください。ブラウザとドキュメント作業を同時に開ける場合、残りのスペースも考慮してください。
次は、実際の待ち時間を確かめる
メモリに十分に収まる場合でも、応答が遅ければ頻繁に使用されなくなる可能性があります。長いドキュメントを投入し、最初の応答を待つ時間と、応答が開始された後、その終了までを分割して確認してください。それぞれはプリフィルとデコードの処理に影響を受けます。
スピード体験では数字を読むだけにとどまらず、その間実際に待ってみましょう。短い要約を取得したい場合と長いコードをコピーしたい場合では、同じ速度でも違った感覚があります。サイトの予想体験をもとに候補を絞った後、同じモデル・長さの実行記録を確認するのが良いでしょう。
グラフィックカードの価格とコンピュータの価格は異なります
GPUの価格だけを見ると、マックよりもはるかに安いように見えます。すでに適切なPCを持っている場合は実際には有利な選択になる可能性があります。しかし、新たに組み立てなければならない場合は、本体、電源装置、ストレージ装置、そして冷却費用を追加で考慮しなければなりません。また、GPUを搭載できるスペースと必要な電力も確認する必要があります。
逆に、完成品の高い初期価格には、組み立てや設定負担を減らす価値がある可能性があります。これを誰にとっても同じ額で換算することはできません。週末に設定を楽しむ人とは、資料を処理するときだけ開ける人との選択はまったく異なります。
増設できないメモリと、まだ決まっていない使い道
購入後のメモリの交換が難しい装置では、ひとつの段階大きな構成が安心できるかもしれません。ただし、どのモデルを使うかまったく決めていないなら、単に不安だけが最も大きなオプションまで上がってしまう必要はありません。今すぐやるべきことと、次にぜひ試してみたいことを一つずつリストアップし、容量を計算してみてください。
たまに必要な大きな作業のために、毎日使うデバイス全体を起動するかどうかを別途判断する必要があります。稀な作業では、長時間待つか、あるいはより小さなモデルに分割して処理する方法を受け入れる可能性があります。逆に毎日メモリ不足に直面するなら、アップグレードの必要性は明確です。
おすすめを探す前に、書いておきたい一文
「このデバイスでこのモデルを実行し、この長さのドキュメントをこの程度の時間で処理する」という条件まで明記できるなら、購入条件は非常に具体的です。このような条件を満たす候補を比較することで、より高価なデバイスが必要なのか、あるいは必要ないのかを説明できます。
選ぶ際には、その行為そのものを忘れずにいなければなりません。ドキュメントの整理が目的であれば、小さなモデルで1つのドキュメントを終えること自体が十分なスタートになります。その過程で本当に不足している点を発見したならば、次の購入は漠然とした期待よりも明確な経験に基づいて行うことができます。