Unsloth Browser Useでローカルモデルにブラウザーを任せる

Browser Useはチャットの横にブラウザー画面を開き、モデルがその中でページを移動しボタンを押します。ツール呼び出しに対応したモデルならローカルでも動きます。

ビジョン対応モデルはスクリーンショットも見ます。ページの文字にない画像やグラフは、ビジョンがなければ読めません。

クラウドモデルも接続できますが、ローカルモデルを使う理由はページ内容が外に出ないことです。

Browser Useはモデルを固定しません。ツール呼び出しに対応し、機器のメモリーに収まるモデルならよく、実際には呼び出しが安定するモデルが勝ちます。

ドキュメントの例はQwen3.8 27Bですが、メモリーが8GBの機器なら2Bや4B級のツール呼び出しモデルから始めます。画面の画像を読む必要があればビジョン対応モデルを選びます。

量子化²は4ビットで十分です。ブラウザー作業は長い文脈より短い呼び出しを何度も行うものなので、文脈を大きく取るより応答の速いファイルが有利です。

ページの読み取り、リンク移動、ラベルのあるボタンのクリック、フォーム入力はテキストモデルでもできます。画像とグラフにはビジョンが必要です。

パスワードと決済情報はモデルが入力できません。アップロードも遮断されるため、機密の入力は人が行います。

Macはbrew、Windowsはwingetでデスクトップアプリを入れます。LinuxとWSLはインストールスクリプトを使います。

brew install --cask unsloth
winget install id UnslothAI.Unsloth
curl -fsSL https://unsloth.ai/install.sh | sh

モデルハブでツール呼び出しに対応するモデルを選び、機器に合う量子化を取得します。次にチャット入力横のメニューでBrowser useを有効にします。

設定のBrowserでサイトごとの権限を決めます。最初は既定値を狭くし、よく使うサイトだけ例外で開きます。

フルアクセスは承認ダイアログをいくつか飛ばします。遮断したサイトとダウンロードはそのまま止まり、スクリプトも承認が必要ですが、確認が減る分だけ必要な作業でだけ有効にします。

モデルは自分のタブの中だけで動きます。ChromeやSafariで開いたタブは操作できないので、URLをチャットに貼って開き直させます。

localhost、プライベートネットワーク、file://のアドレスは対象外です。公開されたHTTPとHTTPSのページだけが開きます。

ツール呼び出しが不安定なモデルは途中で止まります。ページ構造が複雑なほど、一度に複数の動作を頼まないほうが安全です。

キャプチャ、埋め込みウィジェット、キャンバス操作は失敗しやすいです。決済やログインの自動化には使わないでください。

アプリ内の機能なので、画面構成が変われば手順も変わります。サーバーでブラウザー自動化をするならPlaywrightなどの道具が別に必要で、このアプリはサーバー用途には勧めません。

ページを要約することと実際に操作することは別です。要約だけならブラウザーを渡さずURLを貼るほうが速いです。

アプリは無料ですがモデルのライセンスは別です。モデルカードで商用利用の条件を確認します。