ローカルAIにNVIDIA GPUとCUDAは必須？

文書を要約するためにローカル言語モデルアプリを開くと、実行デバイスにCPUしか表示されません。CUDAがなければノートPCのグラフィックス機能を使えないのでしょうか。まず、そのアプリがどのGPUと実行方式に対応しているか確認します。CUDAはNVIDIA GPU向けの経路です。アプリの実行とCUDAコードの開発では必要な構成が異なります。

このガイドでは、社内文書の要約を例にします。アプリにCUDAの表示がない、またはCPUと表示されても、それだけでToolkitを入れる必要はありません。公式案内で対応デバイスとGPU設定を調べ、設定画面やログに選択されたデバイスが表示されるか確認します。アプリがCUDAに対応しているかと、PCにCUDA開発ツールが入っているかは別々の確認事項です。

文書要約アプリではモデルを読み込み、実行デバイスを選べます。Ollamaのようなツールやデスクトップアプリは、必要なライブラリを同梱または内部管理することがあります。プロジェクトのセットアップ案内に従いましょう。アプリを使うだけなら、CUDA Toolkitを別途入れなくてよい構成も多くあります。

自作のPyTorchコードで文書を処理する場合は、必要な構成が異なります。PyTorch公式選択ツールでOS、インストール方法、言語、計算プラットフォームを選ぶと、その組み合わせ向けのコマンドが表示されます。パッケージにCUDAランタイム⁸ライブラリが含まれ、システムToolkitが不要な場合もありますが、ドライバーとPyTorch CUDAビルドがGPUとOSに対応している必要があります。

CUDAコードのコンパイルやCUDA拡張モジュールのビルドには、CUDA Toolkitが必要な場合があります。Toolkit内のnvccがCUDA C/C++コードをコンパイルします。NVIDIAドライバーはOSからGPUを認識し、CUDA処理を実行できるようにします。アプリがGPUを認識しないときは、Toolkitを追加する前にドライバーとデバイス認識を確認してください。

各コマンドが示す値は異なります。nvidia-smiのCUDA Versionは通常ドライバーの対応水準、nvcc --versionはPATH上にある開発Toolkitのコンパイラー版です。PyTorchパッケージ内のCUDAランタイムはさらに異なることがあります。数値が違うときは各ツールが何を示しているか確認し、差だけでインストール失敗と判断しないでください。

CUDAアプリは、深層学習向けのcuDNNや線形代数向けのcuBLASなど、用途に応じたライブラリを使います。必要なライブラリの連携は通常フレームワークやアプリが担います。そのため文書要約アプリを使う人はアプリの案内に従えばよく、GPUソフトウェアを開発する人はCUDA-Xの構成要素も調べることがあります。関連資料は全体像の参考にし、GPUの対応状況はアプリのサポート表で確認してください。

アプリのデバイス一覧にGPUが表示されても、文書要約のすべてがGPUで処理されるとは限りません。アプリがそのGPUバックエンドとモデル形式に対応している必要があります。一部のアプリはモデルの一部の層だけをGPUに置き、残りをCPUで処理します。GPUオフロード⁹の設定を確認し、ログにデバイスや配置した層の情報がある場合は、同じ要約処理の記録を見てください。

モデルファイルのサイズだけでは、GPUにどれだけ載るか分かりません。VRAM¹⁰には重みに加えて、会話コンテキスト用のKVキャッシュ¹¹や実行バッファーも必要です。容量が足りないと、アプリが一部をシステムRAM¹²やCPUに移し、応答時間や同時処理数が変わることがあります。アプリログでモデルの配置と残りメモリーを確認してください。

GPUが認識されても、モデルのすべての演算に対応しているとは限りません。GPU世代とCompute Capability、OS、ドライバー、アプリのビルド、モデルのデータ型やカーネルが合う必要があります。古いGPUでは新機能や一部の精度演算を使えない場合があります。NVIDIAの互換性案内で最低ドライバーと機能制限を確認し、アプリの対応表で使用GPUとモデルを照らし合わせてください。

この文書アプリは、NVIDIA CUDAに対応しないノートPCでも動く場合があります。AMD GPUなら、そのカードとOSに対応するROCm、Vulkanなどのバックエンドがアプリにあるか確認します。AMD GPUがあればROCmが使えるとは限りません。対応GPU世代、モデル、OS、ドライバーはアプリごとに異なり、同じアプリでもバックエンドによって機能が変わることがあります。

Apple Silicon MacもCUDAを実行しません。MacにCUDA Toolkitを入れてもCUDA用PCにはなりません。Macでローカルモデルを動かすなら、MetalやApple Silicon向けのMLX¹³などに対応するアプリを確認します。CUDA専用ライブラリを開発するには、そのライブラリがサポートするNVIDIA GPUとOSの構成が必要です。

NVIDIA GPUがなくても、CPU、Apple SiliconのMetal、AMD向けバックエンド、ブラウザー内のローカルWebGPUで実行できます。ただしブラウザーアプリが必ずローカル計算とは限りません。モデル計算をリモートサーバーへ送るサービスでは、自分のPC上で実行していません。CPUでは大きなモデルや長いコンテキストに時間がかかることがあるため、アプリの対応モデルと目的の作業を先に照らし合わせましょう。

文書アプリの公式対応表で、OS、GPUモデル、バックエンド、最低ドライバーを確認します。ノートPC用GPUは似た名前のデスクトップカードと電力やメモリー構成が異なる場合があるため、実際のノートPCの仕様と照らし合わせてください。モデルカードの推奨仕様はアプリの対応表の代わりにはなりません。

CUDAが必要なNVIDIAアプリでは、まずnvidia-smiでドライバーがGPUを認識しているか確認し、アプリの案内に従います。OSからカードが見えない場合は、アプリのパッケージを変える前にドライバーやシステム設定を直します。PyTorchを自分で入れるときは、公式選択ツールで現在の環境に合うコマンドを取得してください。古い記事の固定cuXXX URLはPythonやドライバーの条件に合わないことがあります。

最後に小さなタスクで実行経路を確認します。アプリのデバイス情報、フレームワークのCUDA利用可否、タスク中のGPU使用状況を合わせて見ると、インストール済みである状態と実際にGPUで計算している状態を区別しやすくなります。短い処理では使用率が低く表示される場合があり、VRAM使用量だけでもGPU計算の証明にはなりません。フレームワークの診断とアプリのログを合わせて読みます。

アプリがGPUを認識し、同じ文書を問題なく要約できるなら、CUDA Toolkitを追加する必要はありません。アプリがCUDAを要求し、GPUやドライバーが対応条件を満たさない場合は、そのアプリの案内に沿って環境を準備します。PyTorch開発では公式選択ツールでフレームワークとドライバーを選び、CUDAコードをコンパイルするときにToolkitとnvccを用意します。

要約速度に問題がなく、アプリで必要なモデルを動かせるなら、今の機器を使い続けられます。必要なGPU経路にアプリが対応していない、またはモデルとコンテキストがメモリーを超えて作業できない場合は、アプリの対応条件を確認してから機器の変更を比較しましょう。CUDAの案内だけではGPUやToolkitを購入する理由になりません。