FlintのローカルLLM：オープンな40Bコーディングエージェントは個人PCで動くか

Flintは、リポジトリを調べてバグを直し、機能を実装し、テストを書くコーディングエージェント向けのモデルです。テキスト入出力、推論、複数回にわたるツール呼び出し⁵を扱えます。構造はデコーダ専用のMoE Transformer⁶で、49層のうち2層が密層、47層がMoE層です。各MoE層では256のエキスパートから6つを選び、常に計算する共有エキスパートが1つ追加であります。

アテンション⁷は35層が513トークンの短い窓を使い、14層が全体アテンションを使います。短い窓の層はKVキャッシュ⁸が少なくて済むため、長い会話でのメモリ負担が減ります。262,144トークンのコンテキストはプロンプト⁹と生成結果を合わせた長さです。

オープンなコーディングエージェントを個人PCで使うには、モデルのスコアより実行環境を先に確認する必要があります。この記事はその順でまとめています。

ベンダーが案内する実行方法はGGUFやllama.cppではなくSGLangです。約80GBの重みを取得してSGLangイメージを構築し、B300またはH200のGPU 1枚でサーバーを起動します。アドレスは127.0.0.1にバインドされ、準備ができると/health_generateで状態を確認します。Transformersのモデリングコードはまだ提供されていないと明記しています。

この手順は個人用PCを前提としたものではありません。B300とH200はデータセンター向けのGPUで、個人が購入する機器とはメモリ構成が大きく異なります。個人環境で使うには別途配布された量子化¹⁰GGUFを使う必要があり、その経路はベンダーが測定したものとは別の実行環境で動きます。

ベンダーはTerminal-Bench 2.1で54.9%、SWE-bench Pro v2で89.7%、SWE-bench Verifiedで74.2%を報告しています。モデルカードは評価条件も記載しています。温度1.0、top-p 0.95、top-k 20を使い、Terminal-BenchはTerminus 2、SWE-benchはmini-swe-agentハーネスで測定しました。エージェントのスコアは最低5回試行のpass@1平均です。

モデルカードは比較の限界も明示しています。出典ごとに評価環境が異なり、表のスコアのうちベンダー自身が測ったものには印が付いています。FlintのTerminal-Benchスコアは、ウェブ検索で得た解を失敗として数える補正を適用しており、他の開発元が報告したスコアには同じ補正がない可能性があると記載しています。表で2つの数値を並べるときはこの違いを考慮する必要があります。

個人PCで試すには2点を先に確認してください。1つは使う実行環境がこの構造に対応しているかです。Flintは35層のスライディングウィンドウアテンション、学習されたアテンションシンク、ヘッドごとのRMSNormなど、一般的なllama系とは異なる構造を使います。実行環境がこれらを実装しているか公式文書で確認しないと、ファイルを取得してもエラーになります。

もう1つはメモリです。総39.8Bの重みを4bitにしても元の4分の1程度は必要です。262Kのコンテキストを最後まで使うと、選択されたエキスパートだけを計算するとしてもKVキャッシュが積み上がります。短いコードレビューから始めてコンテキストを増やし、余裕を確認するほうが安全です。

コーディングエージェントのスコアはモデル単体で出るものではありません。どのハーネスがファイルを読み、コマンドを実行し、失敗を再試行するかも結果に含まれます。ベンダーもmini-swe-agentハーネスを使ったと明記しています。自分の環境で同じスコアを期待するには、ハーネスとツールの権限をそろえる必要があります。

エージェントはシェルコマンドを実行できます。サンドボックス¹¹や許可リスト¹²なしでリポジトリに接続すると、誤ってファイルを削除したり外部に送信したりする可能性があります。個人のリポジトリでも機密キーが入っていないか確認し、実行権限の範囲を狭めておいてください。

FlintはApache 2.0ライセンスで配布されています。改変、再配布、商用利用が認められ、売上の基準もありません。ただしApache 2.0は著作権表示、変更の明示、特許条項への同意も伴います。チームのツールに組み込むときや再配布するときは、NOTICEとライセンスファイルを一緒に保管してください。