実行プログラムと拡張機能
ローカルLLMの初回実行が遅いときに確認する五つのこと
インストール後の最初の質問に反応がないと、装置選びを間違えた気がします。しかし、その待ち時間にはモデルの準備が含まれるかもしれません。設定をむやみに上げる前に、同じ短い質問をもう一度送ってみましょう。
ダウンロード中か、生成中か
新しいモデルはダウンロードが必要で、取得済みでもメモリへの読み込みがあります。表示やログで段階を確かめます。通信待ちは高速GPUでは解決しません。次の依頼が速ければ準備時間が含まれていた可能性があります。ただし二回目だけを残すと、毎回アプリを起動する使い方とは違います。起動直後と起動済みを分けて記録してください。
入力を短くすると変わるか
履歴や添付を外し、新しい会話で短く質問します。速くなれば、文字を生成する速さだけの問題ではないと分かります。必要以上に大きなコンテキスト設定も確認します。対応上限は常に使う推奨値ではありません。ただし下げすぎると資料が切れるため、実際の入力と余裕を確かめます。短文が動いた後で文書を少しずつ増やすと、待ち時間が増える境目を探せます。
モデルはどこに配置されたか
ファイルを開けてもGPUだけで動くとは限りません。専用GPUでは収まらない部分が別の経路で計算されることがあります。配置表示を確認し、必要なら小さなファイルで同じ依頼を試します。小型モデルを勧めるためではなく、容量境界が原因かを調べるためです。MacではOSや他のアプリも統合メモリを使います。読み込み成功と、普段の作業を併用した安定動作は別です。
二回目が速い理由を混ぜない
モデルがメモリに残る効果と、入力の共通部分を再利用する効果は別です。二回目が速い理由をすべて同じキャッシュと考えないでください。アプリを開いたまま新しい文を送る場合と、同じ長文を繰り返す場合を分けます。準備実行をしたなら記録します。最速の一回を選ばず、同条件の繰り返しで範囲を見る方が有用です。アプリの版とモデルのファイル名も残しましょう。
回答の途切れは遅さとは別問題
文章が途中で終わるなら、速度より出力上限、終了条件、文脈の余裕、エラーを確認します。上限を上げれば生成時間やメモリ条件も変わり得ます。短い回答でも上限を使い切ったとは限らず、モデル自身が終了した可能性もあります。完了理由やログを見てください。最初の目標は大きな数字ではなく、一つの依頼が安定して完了する基準です。その後で文書、出力長、高速化を一つずつ追加します。