Granite 4.2の3B・8B・30B、自分の機材にはどれが合う？

IBMの公式発表ではGranite 4.2は3B、8B、30Bの密な推論モデルです。質問ごとに一部の専門家だけを使うMoEではありません。三つとも思考モードとツール呼び出しに対応し、Apache 2.0で公開されています。ただし、機能名が同じでも結果や必要な資源は違います。IBMは8Bと30Bに追加のエージェント学習を行ったと説明しています。自分のファイルで試す方が、総合点を見るより判断しやすいでしょう。

短い文書の要約、繰り返す文章の修正、単純なコード説明なら3Bから試せます。機材を先に買う前に、普段使う質問を十個用意し、事実の抜けや自信を持った誤答を記録してください。速く答えても毎回直すなら、その用途には小さいのかもしれません。十分な結果が続くなら、大きいモデルの公開スコアだけを理由にメモリを増やす必要はありません。IBMは韓国語を試験対象に挙げていますが、自分の専門用語まで保証するものではありません。

IBMは8Bと30Bに、コード変更、端末、検索などのツールを使う追加学習を行っています。3Bで手順が途切れる作業なら8Bを試す理由があります。ただしモデルがどのアプリにも自動でつながるわけではありません。実行環境側がチャット形式とツール呼び出しを扱い、権限も設定する必要があります。実際のリポジトリで小さな修正を一件任せ、提案、実行、確認のどこで止まるかを見てください。その記録が30Bを試す根拠になります。

30Bは同じ系列で最大の密なモデルです。300億の重みをBF16の2バイトで単純計算すると約60GB、4bitなら約15GBが計算上の下限です。実行時の総量ではありません。ファイルの付随情報、作業領域、文脈に応じたKVキャッシュ、OSやほかのアプリの分が加わります。24GBの機器で4bitファイルが開くことと、長い文書を余裕を持って使えることは別です。実際のファイル、実行ソフト、文脈長を決め、メモリと入出力の待ち時間を確かめましょう。

IBMのモデルカードには標準128Kと512Kへの拡張が記載されています。ただし対応上限は、手元の機器で長文を速く正確に扱える保証ではありません。入力が伸びると、最初の回答までの処理やKVキャッシュも増えます。実際の報告書を一つ使い、全文を渡すより関連箇所を選ぶ方がよいか確かめてください。比較では質問と文書の長さをそろえ、最初の待ち時間とその後の生成を分けて記録します。

Granite 4.2には思考、非思考、短い思考のモードがあります。同じ質問でも待ち時間と出力の長さは変わり得ます。元のBF16と4bitの変換版では、メモリや品質の条件も違います。IBMの元モデル名を確認し、変換版なら配布者、形式、量子化方式を記録してください。ファイルが小さいだけで同じ品質や一定の高速化を約束するものではありません。同じ質問で修正量と待ち時間を測り直します。

3Bが重要な条件をたびたび落とし、8Bで改善するなら、8Bを余裕を持って動かせる構成を探します。実際のツール作業が8Bで失敗し、30Bで改善したなら、そのとき30B用のメモリ費用を計算できます。どちらでも改善しないなら、資料の分け方や指示を直す方が先かもしれません。当サイトの機材とメモリの記事は候補を絞るために使い、別モデルの速度をGranite 4.2の実測値として読まないでください。販売ページではRAM、VRAM、SSDが試した構成と合うか確認します。