ローカルLLMに必要なVRAM・ユニファイドメモリ容量

モデルファイルが収まれば終わり、ではない

20GBという数字は説明のための例です。実際のモデルは量子化方式やファイル構成によってサイズが変わります。まず、このファイルをメモリに読み込むためにスペースが必要です。

ここには実行プログラムの作業領域および会話の計算記録も加わります。この記録をKVキャッシュと呼びます。残りの4GB全体を会話に使うことができるとは計算できません。

でもなぜ最初は正常に動作したのでしょうか？

最初の質問が短ければ、キャッシュも小さかった可能性があります。その後、長いドキュメントを投入したり、会話の継続を試みるにつれ、保存される計算記録が増えていきます。モデルファイル自体は変わりませんが、実行中のメモリは変化する可能性があります。

したがって、「モデルの読み込みに成功した」と「自分の作業を完遂した」とを区別しなければなりません。通常に使うドキュメントと回答の長さで実行してみて、そのとき最も多く使用したメモリを確認してください。

PCにRAMをさらに挿すと解決されますか？

専用グラフィックカードが搭載されたPCでは、システムRAMとGPUのVRAMは別々の空間です。RAMを増やしても、グラフィックカードのVRAM容量は増えません。

一部の実行プログラムは、モデルをRAMに分割して保持できます。ただし、メモリ間のやり取りやCPUが計算する時間の追加が発生する可能性があるため、実行可能になることと、迅速に使用できることが別々の問題です。

Macのユニファイドメモリは、CPUとGPUが同じメモリを使う仕組みです。ただし、OSやほかのアプリもその領域を使います。そのため、Macの32GBとグラフィックカードの32GBを、モデル専用に使える容量が同じだと考えて比較することはできません。

GPU 2枚のメモリも、単純に足せばよいわけではない

24GBのカードを2枚挿入すれば、メモリの物理的な総容量は48GBになります。しかし、実行プログラムがモデルを2つのカードに分割して読み込めるようにしなければ、その空間を有効に利用できません。

各カードには必要なワークスペースを確保しなければならず、計算結果のやり取りにかかる時間もかかります。単に「48GBを確保した」という数字だけでは、1枚の48GB GPUと同等の条件であるとは言えません。

容量を選択する際は、以下の順序で確認してください

モデルファイルを確定した後、実際に使用する入力長に基づいてメモリを計算します。その次に、実行中のワークスペースに加えて他のアプリが使用できる余裕を確保します。すべてのモデルに共通する1つの余裕比率よりも、その組み合わせの実行記録を確認するほうがよいです。

すでに必要な空間が十分であれば、メモリを増設するだけでは応答速度が向上しません。その場合、同じモデルの生成速度と最初のトークン時間の比較を行いましょう。メモリ不足を解決するために購入するのか、待機時間の削減のために購入するのかを明確に分けることで、選択がはっきりとできます。

容量を減らすと、後で後悔することになるかもしれないと、最初から大きな構成を選択したいと考える場合があります。特に、購入後にメモリを交換が難しい設備であれば、その懸念は正当化されます。ただし、まだ使用したいモデルが決まっていない状態で、最も大きな容量から選ぶと、どの目的のためにより多くの費用をかけるのかを確認するのは難しいです。

今、使用しているモデルと、ぜひ試してみたい次のタスクを一つずつ書き出してみましょう。その中で、両方とも対応できるかどうかを確認するだけでもよいです。いつの日か登場するすべてのモデルのために今日この設備を買うことはできませんが、少なくとも今回の試みを実行できない設備を選ぶ可能性は減らすことができます。