LFM2.5-24B-A2BのローカルLLM：韓国語対応24B MoEを自分のPCで

LFM2.5-24B-A2Bは、質問を受けて回答を生成するテキスト推論モデルです。名前の24Bはモデルが持つ総パラメータ数、A2Bは1トークンを処理するときに実際に計算へ使う有効パラメータが約2B台であることを示します。モデルカードは有効パラメータを2.45Bと記載しています。40層のうち30層は短い畳み込みブロック、10層は通常のアテンション⁵を使い、各MoEブロックでは64のエキスパートから4つを選びます。

この構造が実用的なのは、メモリと速度が別々に動くからです。読み込むには24B分の重み領域が必要ですが、トークン生成の速度は有効2.45Bの計算量に近づきます。同じ24Bの密モデルと比べれば同じメモリでより多くのトークンが期待でき、逆に7Bクラスの軽いメモリではこのモデルを載せられません。両方の数字を見る必要がある理由です。

韓国語に対応するローカルLLM⁶を探すなら、対応言語の一覧と実際の韓国語品質を分けて見る必要があります。このモデルは16言語の一覧に韓国語を含め、無料利用の範囲も定めています。

モデルカードは英語、アラビア語、中国語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポルトガル語、スペイン語、ベトナム語、タイ語、インドネシア語、ヒンディー語、ロシア語、ポーランド語を対応言語として挙げています。韓国語が含まれる点は韓国の利用者にとって重要です。ただし対応言語の一覧は学習データに含まれていたという意味で、韓国語の品質が韓国語特化の24Bモデルと同じという保証ではありません。

公式リポジトリは同じモデルを複数の形式で配布しています。Transformers・vLLM・SGLang向けの元チェックポイント⁷、ブロック単位のFP8⁸、GGUF、ONNX、Apple Silicon向けのMLX 4bitがあります。llama.cppやOllamaで動かすならGGUF、MシリーズのMacでMLX系ツールを使うならMLX 4bitを選びます。両者は互換性がありません。

ファイルサイズは形式によって大きく変わります。4bit系は元の重みより小さいものの、量子化⁹の方式によって回答品質と速度も変わります。最初の実行でどのファイルを使ったかを記録しておけば、後で別の形式と比べるときに条件をそろえられます。

モデルカードは、同規模の他のMoEより最大1.7倍速く、Apple M5 Maxで184 tok/s、NVIDIA B300 1枚で出力21K tok/sまで出るとしています。この数値はベンダーが決めた条件で測ったものです。自分の環境の速度として読むには、同じハードウェアか、どの量子化ファイルを使ったか、コンテキスト長はいくつか、考えるトークンが出力に含まれたかをまずそろえる必要があります。

推論モデルなので、同じ質問でも考えるトークンが先に出ます。体感の待ち時間を比べるには、最初の回答が出るまでの時間と全体の完了時間を別々に測ってください。考えるトークンを出力に含めるかで2つ目の数値は大きく変わります。

モデルカードは、このモデルをツールを呼び出して推論するエージェント向けとし、知識が多い作業には単体で勧めていません。検索やウェブツールと組み合わせるよう案内しています。議事録の要約や社内文書検索のように根拠文書がある作業は、RAG¹⁰と組み合わせると力を発揮します。

公開ベンチマークはベンダーのブログとモデルカードの両方にあります。同じ表の競合モデルの数値と比べる際は、評価条件が同じか確認してください。ツール呼び出し¹¹のベンチマークはプロンプト¹²と実行環境で結果が変わるため、自分の業務の文で一度試すほうが正確です。

このモデルのライセンスは一般的なオープンソースではなく、Liquidが定めたLFM Open License v1.0です。個人利用と研究は自由ですが、商用利用には条件があります。年間売上が1,000万米ドル未満であれば商用利用でき、この基準を超えると別途の許可が必要です。ライセンスはこの基準をThresholdと定義し、商用利用の権利を超えない条件に結び付けています。