TensorFold Living Weights와 RAG, 기억을 남기는 방식이 달라요

TensorFold 1.0.8의 Living Weights 실험은 Nemotron 폴더에 학습 내용을 기록해요. 원본을 복사한 뒤에만 시작하세요.

RAG¹는 문서 저장소에서 관련 구절을 찾아 프롬프트²에 넣고, Living Weights는 사실을 모델 폴더에 기록해 다음 실행에서도 사용해요. TensorFold 1.0.8 문서는 Mac에서 Nemotron 3.5 Lightning을 --slide로 실행하는 흐름을 안내해요. 학습은 파일을 다시 쓰고 자동 되돌리기가 없으니, Hugging Face 캐시가 아닌 별도 복사본을 만들어 경로를 확인하고, 원본을 보존한 채 복사본으로만 시험해요.

실행 조건과 핵심 내용

1.0.8 문서는 Nemotron 3.5 Lightning의 --slide 경로를 안내해요.
RAG는 문서를 검색하고, Living Weights는 모델 폴더의 가중치를 갱신해요.
원본을 유지하고 복사본으로만 시험한 뒤 폴더 교체로 복구해요.

대답에 필요한 자료를 꺼내는 방식부터 달라요

RAG는 질문과 가까운 문서 조각을 검색해 모델 입력에 붙여요. 문서가 바뀌면 저장소를 갱신하고, 답변 근거로 검색된 원문을 보여줄 수 있어요. 모델 가중치는 그대로예요.

RAG와 Living Weights의 운영 차이
항목	RAG	Living Weights
저장 위치	문서 인덱스	모델 폴더의 가중치 파일
근거 표시	검색 구절을 답변과 함께 표시 가능	학습한 사실이 응답에 반영될 수 있음
문서 갱신	문서 수정 후 인덱스 갱신	학습 사실을 지울 때 백업 복사본 복원

Living Weights는 입력한 사실을 지원되는 모델 파일에 학습해요. 이후 답변에도 반영될 수 있지만, 원문을 찾아 인용하는 문서 검색과는 작동 방식이 달라요.

검은 화면의 모니터와 소형 데스크톱, 여러 팬이 보이는 PC 본체 — 학습 대상은 원본과 분리된 모델 사본으로 지정해요.

1.0.8에서 확인된 모델 범위를 지켜요

TensorFold 1.0.8의 README는 Living Weights를 experimental로 표시하고, Apple silicon Mac과 NVIDIA GB10에서 학습되는 경로를 설명해요. 이 가이드의 Mac 예시는 Nemotron 3.5 Lightning MLX³ 4-bit 체크포인트⁴와 --slide 조합이에요.

다른 체크포인트에서 --slide가 된다고 확대 해석하지 않아요. Qwen3.8-27B, GLM 계열 등은 이 릴리스 안내에서 지원 대상으로 제시되지 않으므로, 모델과 플랫폼 조합이 README에 명시되지 않았다면 실행 전에 해당 문서를 확인해요.

TensorFold 1.0.8의 Living Weights와 지원 모델

원본을 보존하고 별도 사본에서 학습해요

tensorfold pull은 모델을 Hugging Face 캐시에 받아요. 아래처럼 snapshot 폴더를 나열한 뒤, Nemotron 체크포인트의 실제 revision 경로 하나를 직접 확인해 src에 넣어요. 임의로 첫 항목을 고르지 마세요. 새 대상 폴더 ~/models/nemotron-living이 없을 때만 복사해 기존 학습 폴더와 섞이지 않게 해요. cp -cRL은 같은 APFS 볼륨에서 clone을 쓸 수 있고 다른 볼륨에서는 전체 복사 공간이 필요해요.

revision을 골라 새 사본 만들기

tensorfold pull TensorFold/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit
cache="$HOME/.cache/huggingface/hub/models--TensorFold--NVIDIA-Nemotron-3.5-Lightning-30B-A3B-MLX-4bit/snapshots"
ls -1d "$cache"/*/
# Inspect the listed revisions, then paste the exact chosen directory below.
src="$cache/replace-with-exact-revision-from-list"
dst="$HOME/models/nemotron-living"
test -d "$src" && test ! -e "$dst" || { echo 'Check source and ensure destination is new'; exit 1; }
mkdir -p "$HOME/models"
cp -cRL "$src" "$dst"
tensorfold serve "$dst" --slide --name nemotron-living

학습은 모델 폴더의 파일을 다시 쓰고 README는 자동 되돌리기가 없다고 설명해요. pwd나 ls로 대상이 원본 캐시가 아닌 복사본인지 확인해요. 서버가 응답한 실제 ID를 /v1/models에서 확인한 다음, 먼저 같은 질문을 보내 기준 답변을 기록하고, 학습 뒤에도 동일한 ID와 질문으로 다시 비교해요.

모델 ID와 학습 전 기준 답변 확인

curl -fsS http://127.0.0.1:8080/v1/models
# Set this to the exact id returned above; --name normally sets it to nemotron-living.
MODEL_ID='paste-the-id-returned-by-v1-models'
curl -fsS http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d "{\"model\":\"$MODEL_ID\",\"messages\":[{\"role\":\"user\",\"content\":\"What color do I like?\"}],\"max_tokens\":32,\"temperature\":0}"

한 가지 사실 학습 요청

curl -N http://127.0.0.1:8080/v1/slide/learn -H 'Content-Type: application/json' -d '{"text":"I like blue."}'

같은 질문으로 학습 뒤 결과 확인

MODEL_ID='paste-the-same-id-from-v1-models'
curl -fsS http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d "{\"model\":\"$MODEL_ID\",\"messages\":[{\"role\":\"user\",\"content\":\"What color do I like?\"}],\"max_tokens\":32,\"temperature\":0}"

복사 및 서버 실행 예시

코드처럼 보이는 줄이 표시된 큰 모니터와 데스크톱 타워, 노트북이 놓인 책상 — 기록할 사실을 먼저 짧고 확인 가능하게 정리해요.

기억이 맞는지 확인하고 필요하면 복구해요

학습 요청의 성공 로그와 모델 답변은 따로 확인해요. 앞서 보낸 What color do I like?에 대한 응답을 기준 답변과 비교해요. 틀리거나 원치 않는 답변이 생기면 추가 학습으로 덮지 말고, 서버를 멈춘 뒤 보존해 둔 원본 또는 백업⁵ 복사본으로 모델 폴더를 교체해요.

다른 사실을 추가하기 전에 같은 질문을 다시 확인해요. 쓰기 전후의 디렉터리를 분리해 두면 학습 전으로 돌아갈 폴더를 헷갈리지 않아요.

학습 대상 폴더와 복구 조건

문서와 차트가 보이는 노트북 주변에 쌓인 인쇄물과 펼친 노트 — 학습 후 같은 질문으로 응답을 확인하고 원본과 비교해요.

용어 각주

검색 증강 생성 — 질문과 관련된 자료를 검색해 모델 입력에 추가한 뒤, 그 문맥을 바탕으로 답변을 생성하는 방식입니다.
본문으로 돌아가기
프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기
MLX — Apple이 개발하는 머신러닝 프레임워크로, Apple Silicon의 CPU와 GPU가 공유하는 메모리를 활용해 모델을 실행합니다.
본문으로 돌아가기
체크포인트 — 학습된 모델의 가중치 등을 저장한 파일입니다. 같은 모델 계열도 버전이나 용도에 따라 다른 체크포인트를 쓸 수 있습니다.
본문으로 돌아가기
백업 — 설정과 데이터를 파일로 저장해 두는 것입니다. 기기가 고장 나도 같은 설정으로 되돌릴 수 있습니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: RAG는 문서 저장소에서 관련 구절을 찾아 프롬프트에 넣고, Living Weights는 사실을 모델 폴더에 기록해 다음 실행에서도 사용해요. TensorFold 1.0.8 문서는 Mac에서 Nemotron 3.5 Lightning을 `--slide`로 실행하는 흐름을 안내해요. 학습은 파일을 다시 쓰고 자동 되돌리기가 없으니, Hugging Face 캐시가 아닌 별도 복사본을 만들어 경로를 확인하고, 원본을 보존한 채 복사본으로만 시험해요.
선택하지 않는 편이 좋은 경우는 언제인가요?: `tensorfold pull`은 모델을 Hugging Face 캐시에 받아요. 아래처럼 snapshot 폴더를 나열한 뒤, Nemotron 체크포인트의 실제 revision 경로 하나를 직접 확인해 `src`에 넣어요. 임의로 첫 항목을 고르지 마세요. 새 대상 폴더 `~/models/nemotron-living`이 없을 때만 복사해 기존 학습 폴더와 섞이지 않게 해요. `cp -cRL`은 같은 APFS 볼륨에서 clone을 쓸 수 있고 다른 볼륨에서는 전체 복사 공간이 필요해요.