VRAM 4GBで35Bモデルを使える？XeStrataのOrnith・llm-jp実行条件

XeStrataのREADMEでは、ベータモデルごとにダウンロード容量、RAM、最低VRAMが別々に記載されています。4GBとされているのはOrnith-1.5 35B-A3B Q4_K_Mとllm-jp-4.1 32B-A3B Q4_K_Mです。ファイルは約21.7GBと21.5GBで、どちらもRAMは約30GB必要です。

READMEには、より小さいコミュニティ再現ファイルも掲載されています。GSQ-RCO-3BITは13GB・RAM22GB・最低VRAM 4GBですが、MTP⁶ layerはありません。標準の公式Q4_K_Mとはファイルの出所とMTPの有無が異なります。上位の選択肢はQ5_K_Mが25.3GB・34GB・6GB、Q6_Kが29.2GB・38GB・6GB、Q8が37.8GB・46GB・6GBです。

日本語の文書やチャットが目的なら、llm-jp-4.1 32B-A3B Q4_K_Mをまず検討します。READMEではファイル21.5GB、RAM約30GB、最低VRAM 4GBとされています。BF16⁷はファイル64.3GB、RAM73GB、VRAM最低8GBなので、同じ4GB構成には入りません。

Ornith-1.5 35B-A3B Q4_K_Mも同じRAM・VRAM基準で記載されています。より大きい量子化ファイルは4GBの選択肢ではないため、モデルを変える前に該当するQ4_K_Mと短い入力で実行できるか確認すると判断しやすくなります。READMEでは両系列ともbeta、text-onlyと分類されています。

XeStrataはUbuntu 26.04とFedora 44向けのディストリビューションパッケージを提供しています。モデルファイルは約22GBなので保存先に空きを確保し、システムRAMが約30GB利用可能か確認してください。起動中のアプリがRAMを使うため、実際の空き容量は搭載量より少なくなります。

これはベータ経路です。READMEによると、一部の低メモリカード確認は実カードではなく、B70のVRAM上限とXMX経路を制限して行われました。手元のGPUで4GB実行が再現済みという意味ではないため、自分の環境でセットアップと短い初回生成を確認してください。

ディストリビューションに合うリリースパッケージをインストールし、xestrata --setupを実行します。検出されたGPUを確認し、Ornithまたはllm-jpのQ4_K_Mを選びます。ダウンロード前に表示されるRAM推奨値とファイル容量を上記と照合してください。

xestrata --setup

最初の生成は短い日本語の質問か、1～2文の要約依頼から始めます。ブラウザでhttp://127.0.0.1:8095を開き、回答が完了してターミナルにメモリエラーがなければ基本実行を確認できます。量子化やコンテキスト長を変えたときに比べられるよう、入力文を保存しておくと便利です。

xestrata --setupがGPUライブラリを見つけられない場合は、xestrata --checkのデバイス名とgfxコード、使用中のディストリビューションをREADMEの対応表と照合します。AMDでは、そのgfxコード向けのrocBLASがディストリビューションに必要です。インストール後もセットアップが開かない場合は、ターミナルの最初のエラー行と~/.local/state/xestrataのログを確認してください。

RAM不足なら他のアプリを終了して再試行し、改善しなければREADMEで同じ4GB経路により小さい候補があるか確認します。該当する小さなファイルがなければ、RAMを増やすか小型モデルへ切り替える判断になります。Q4_K_Mで短い質問が最後まで返るかを基準に、常用できるか決めましょう。