Windows・LinuxにStrataを導入して最初の質問を送る

Strata 0.1.43はWindows 10/11またはLinuxで動作します。GPUはNVIDIA RTX 20/30/40/50シリーズ、またはドキュメントに記載された対応Radeonが目安です。NVIDIAドライバーは580以降を推奨します。AMDはWindowsで最新のAdrenalinドライバー、Linuxでカーネルのamdgpuドライバーを使います。GPU名とドライバーはWindowsのデバイスマネージャー・AMD Software、またはLinuxのデバイス情報で確認します。

必要なRAM容量はモデルサイズによって異なり、32GBから検討できます。64GBならガイドに掲載された全サイズを実行できますが、大きいモデルや長いコンテキストでは他のアプリ用の余裕も残します。約70GBのモデル、約6GBのMTP⁴層、設定や画像関連の追加ファイルを考慮して約80GBを確保します。Linux AMDでsetupがROCm⁵を取得する場合はさらに約10GB必要です。NVMe⁶ SSD⁷は初回のモデル読み込み時間を短縮します。

このガイドではStrata 0.1.43を導入します。次のGitコマンドはそのバージョンに固定して取得します。Gitを使わない場合は、同じv0.1.43リリースのZIPをダウンロードして展開します。新しいバージョンへの更新方法は、以下で導入方式ごとに説明します。 新規導入では、Linux NVIDIAの回帰を修正した0.1.43.1 ZIPを選び、以下と同じ手順で開始できます。

リポジトリフォルダー内でWindowsはSTART-HERE.batをダブルクリックします。Linuxはそのフォルダーでターミナルを開き、./setup.shを実行します。Linuxで実行権限エラーが出た場合はbash setup.shで起動できます。セットアップがPython環境、GPUエンジン、モデル、MTPドラフト層を準備します。

NVIDIA PCのドライバーが580より古い場合は、セットアップ前に更新します。適合するNVIDIA既製エンジンがない環境では、セットアップがビルドツールの導入を案内してからエンジンをコンパイルします。AMD WindowsはAdrenalinドライバーと同梱HIP⁸エンジンを使用し、AMD LinuxではROCmの準備とカード向けエンジンのコンパイルも行います。

セットアップの質問では、空きRAMとGPUメモリに合わせてモデルサイズとコンテキストを決めます。推奨値のまま進めればセットアップが続きます。画像を入力しない場合はvisionを無効にすると、GPUメモリをエキスパートキャッシュに回せます。長いコンテキストはKVキャッシュ⁹も多く使うため、必要な長さから始めます。

セットアップは約70GBのモデルと実行ファイルをダウンロードします。初回導入のダウンロードが中断された場合は、WindowsではSTART-HERE.bat、Linuxではリポジトリフォルダー内の./setup.shを再実行します。取得済みのファイルから再開します。初回にRAMとGPUメモリへ読み込む間、PCが1～3分ほど遅くなったり応答しないように見えたりすることがあります。進行表示が更新されている間はウィンドウを閉じずに待ちます。

セットアップが完了するとブラウザーが開くか、ウィンドウにローカルアドレスが表示されます。http://127.0.0.1:8080のChatに短い質問を入力し、回答が表示されるか確認します。サーバーウィンドウにモデルの起動メッセージが残ります。次回は取得済みファイルを再ダウンロードしません。サーバーを停止するには実行ウィンドウを閉じます。

上の0.1.43固定チェックアウトやZIP版は、新しいリリースZIPへ移行します。既存のStrataフォルダーを残し、同じ親フォルダー内に新しいZIPを展開してSTART-HERE.batまたは./setup.shを実行します。隣接する既存のStrata-dataが見つかれば、大きいモデルを再取得しません。設定ファイルは旧Strataフォルダー内にあるため、新しいセットアップでモデル・コンテキスト・作業フォルダーを確認します。

バージョンを固定せずgit cloneしたブランチ環境は、そのフォルダーでWindowsのUPDATE.batまたはLinuxの./update.shを使って更新します。コード・エンジン・パッケージ・設定の更新が終わったら、START-HERE.batまたは./setup.shでモデルを起動します。上のタグ固定環境では更新スクリプトのgit pullが失敗するため、新しいZIPへ移行してください。

初回ダウンロードが完了しない場合は、ネットワーク接続と空き容量を確認してからWindowsではSTART-HERE.bat、Linuxでは./setup.shを再実行します。取得済みのファイルから再開します。UPDATE.batまたは./update.shはブランチ型Git環境の更新時に使い、タグ固定環境やZIP版は新しいリリースZIPへ移行します。NVIDIAドライバーが古いという案内が出たら、更新してPCを再起動し、起動ファイルをもう一度実行します。

port 8080 is already in useと表示されたら、Strataのサーバーウィンドウがすでに動いていないか確認します。別のプログラムがポートを使っている場合は、公式インストールガイドのポート指定方法を確認し、別のポートで起動します。サーバーが起動していてブラウザーが開かない場合は、ローカルアドレスを直接入力します。

モデル読み込みが止まる、またはengine stopped unexpectedlyと表示される場合は、PCを再起動し、ブラウザー・ゲーム・編集ソフトなどメモリを使うアプリを閉じて再試行します。それでも止まる場合は空きRAM・VRAM¹⁰を確認し、Q2_0やIQ2_XSなど小さいモデル、または短いコンテキストを選びます。Linux AMDでROCm導入やコンパイルが失敗した場合は、ターミナルの最後のエラーと選択されたGPUアーキテクチャを記録し、AMD HIP公式ガイドを確認します。

初回の回答が表示されたら導入手順は完了です。回答が遅い、または途中で止まる場合はMonitorでGPU・CPU¹¹・RAMの使用量を確認します。エラーが発生した段階に応じて、モデルサイズ、ドライバーとランタイムの適合、ダウンロードの完了状態を確認すると、次の対処を選びやすくなります。

初回導入ではなく、既存のWindows低メモリ構成が遅い場合に確認する項目です。GGUF¹² shardをmmapしたままNTFSの非バッファ読み込みを行うと、エキスパートファイルが1つずつ処理されることがありました。Strata 0.1.43はファイルtierが非バッファ読み込みを始める際に各shardのマッピングビューを閉じ、エキスパートファイルを再び並列で読み込みます。

更新後に比較する場合は、同じGGUFモデルとプロンプト¹³を使います。リリース例はRTX 5070・Ryzen 5 7600・RAM 64GBでIQ3_XXSを読み込みました。短いプロンプトのデコード¹⁴速度は、エキスパートをRAMに22GiB置いた条件で13.3から18.2 tok/s、12GiB条件で4.6から8.5 tok/sでした。このWindows構成での測定結果です。