実行プログラムと拡張機能
最終更新
TensorFold Living WeightsとRAGは知識の残し方が異なります
TensorFold 1.0.8のLiving Weights実験はNemotronフォルダーに学習内容を書き込みます。必ずコピーから始めてください。
RAG1は文書ストアから関連箇所を検索してプロンプト2に加えます。Living Weightsはモデルフォルダーに事実を書き込み、次回以降も使えるようにします。TensorFold 1.0.8の文書では、Mac上でNemotron 3.5 Lightningを--slide付きで実行する手順が案内されています。学習はファイルを書き換え、自動で元に戻す機能はありません。別のコピーを作り、パスを確認し、原本を残してコピーだけで試してください。
まず情報を渡す仕組みが異なります
RAGは質問に関連する文書の一部を検索してモデル入力に加えます。文書が変わったらストアを更新し、回答根拠として検索した原文を示せます。モデルの重みは変わりません。
| 項目 | RAG | Living Weights |
|---|---|---|
| 保存場所 | 文書インデックス | モデルフォルダーの重みファイル |
| 出典表示 | 検索箇所を回答とともに表示可能 | 学習した事実が回答に反映される場合がある |
| 更新 | 文書を編集してindexを更新 | 学習内容を削除するにはbackup copyを復元 |
Living Weightsは、入力した事実を対応モデルのファイルに学習します。以降のリクエストで同じ文面を検索してプロンプトに渡さなくても応答に反映される可能性がありますが、原文を検索して引用する文書検索システムとは異なる方法です。
1.0.8で文書化されたモデル範囲を守ります
原本を保管し、別のコピーで学習します
tensorfold pullはモデルをHugging Face cacheにダウンロードします。下記のようにsnapshot directoryを一覧表示し、Nemotron checkpointの実際のrevisionを確認してsrcに指定します。先頭の項目を自動選択しないでください。新しい保存先~/models/nemotron-livingが存在しない場合だけコピーします。cp -cRLは同じAPFS volume上でcloneを作成できますが、別volumeでは全体コピー分の空き容量が必要です。
tensorfold pull TensorFold/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit
cache="$HOME/.cache/huggingface/hub/models--TensorFold--NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit/snapshots"
ls -1d "$cache"/*/
# Inspect the listed revisions, then paste the exact chosen directory below.
src="$cache/replace-with-exact-revision-from-list"
dst="$HOME/models/nemotron-living"
test -d "$src" && test ! -e "$dst" || { echo 'Check source and ensure destination is new'; exit 1; }
mkdir -p "$HOME/models"
cp -cRL "$src" "$dst"
tensorfold serve "$dst" --slide --name nemotron-living学習はモデルフォルダーのファイルを書き換え、READMEは自動undoがないと説明しています。pwdやlsで対象が原本キャッシュではなくコピーであることを確かめます。/v1/modelsで実際のIDを確認し、そのIDで学習前に質問を送り、学習後も同じIDと質問で比べます。
curl -fsS http://127.0.0.1:8080/v1/models
# Set this to the exact id returned above; --name normally sets it to nemotron-living.
MODEL_ID='paste-the-id-returned-by-v1-models'
curl -fsS http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d "{\"model\":\"$MODEL_ID\",\"messages\":[{\"role\":\"user\",\"content\":\"What color do I like?\"}],\"max_tokens\":32,\"temperature\":0}"curl -N http://127.0.0.1:8080/v1/slide/learn -H 'Content-Type: application/json' -d '{"text":"I like blue."}'MODEL_ID='paste-the-same-id-from-v1-models'
curl -fsS http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d "{\"model\":\"$MODEL_ID\",\"messages\":[{\"role\":\"user\",\"content\":\"What color do I like?\"}],\"max_tokens\":32,\"temperature\":0}"
記憶内容を確認し、必要なら復元します
学習リクエストの成功ログと、モデルの回答は分けて確認します。What color do I like?への回答を、記録した学習前のものと比べます。誤りや望ましくない回答が出た場合、追加学習で上書きせず、サーバーを止めて保管してある原本またはバックアップ5コピーとモデルフォルダーを置き換えます。
別の事実を追加する前に同じ確認質問をもう一度試します。学習前と変更後のディレクトリーを分けておくと、復元先を取り違えにくくなります。
用語の注釈
検索拡張生成 — 質問に関連する資料を検索してモデル入力に加え、その文脈をもとに回答を生成する方式です。
本文に戻るプロンプト — モデルに送る入力文です。生成モデルでは作りたい結果を説明する文になり、出力の構成や内容を大きく左右します。
本文に戻るMLX — Appleが開発する機械学習フレームワークで、Apple SiliconのCPUとGPUが共有するメモリを使ってモデルを実行します。
本文に戻るチェックポイント — 学習済みモデルの重みなどを保存したファイルです。同じモデル系列でも、版や用途によって異なるチェックポイントを使うことがあります。
本文に戻るバックアップ — 設定とデータをファイルとして保存しておくことです。機器が故障しても同じ設定に戻せます。
本文に戻る
よくある質問
- この記事で最初に確認すべきことは何ですか？
- RAGは文書ストアから関連箇所を検索してプロンプトに加えます。Living Weightsはモデルフォルダーに事実を書き込み、次回以降も使えるようにします。TensorFold 1.0.8の文書では、Mac上でNemotron 3.5 Lightningを`--slide`付きで実行する手順が案内されています。学習はファイルを書き換え、自動で元に戻す機能はありません。別のコピーを作り、パスを確認し、原本を残してコピーだけで試してください。
- 選ばないほうがよいのはどのような場合ですか？
- `tensorfold pull`はモデルをHugging Face cacheにダウンロードします。下記のようにsnapshot directoryを一覧表示し、Nemotron checkpointの実際のrevisionを確認して`src`に指定します。先頭の項目を自動選択しないでください。新しい保存先`~/models/nemotron-living`が存在しない場合だけコピーします。`cp -cRL`は同じAPFS volume上でcloneを作成できますが、別volumeでは全体コピー分の空き容量が必要です。