이 글에서 가장 먼저 확인할 것은 무엇인가요?

TensorFold 1.0.8은 Qwen3.8-27B 가중치를 메모리에 한 번만 유지해 DFlash2와 함께 준비하는 메모리를 17.6GiB 줄였어요. 릴리스의 70,000토큰 문맥 점검에서 M5 Max는 47.2→29.6GiB, M3 Ultra는 42.2→24.6GiB로 바뀌었어요. 절약된 공간은 이 조합에서 DFlash2와 긴 문맥을 함께 준비할 여지를 만들지만, 실제 사용량은 평소 앱과 입력 길이를 포함해 확인해야 해요.

필요한 메모리는 어느 정도인가요?

표는 해당 Mac에서 TensorFold와 DFlash2를 준비한 프로세스 메모리예요. macOS와 평소 쓰는 앱도 같은 통합 메모리를 사용해요. 자신의 Mac에서 서버를 실행한 뒤 활동 모니터의 메모리 압력과 스왑 증가 여부를 확인해야 실제로 남는 여유를 판단할 수 있어요.

메모리와 모델

최종 업데이트 2026-10-30

TensorFold 1.0.8에서 Qwen3.8-27B 맥 메모리가 17.6GiB 줄었어요

중복 적재를 없애 DFlash2와 긴 문맥을 함께 준비할 공간을 확보했어요.

TensorFold 1.0.8은 Qwen3.8-27B 가중치를 메모리에 한 번만 유지해 DFlash2와 함께 준비하는 메모리를 17.6GiB 줄였어요. 릴리스의 70,000토큰¹ 문맥 점검에서 M5 Max는 47.2→29.6GiB, M3 Ultra는 42.2→24.6GiB로 바뀌었어요. 절약된 공간은 이 조합에서 DFlash2와 긴 문맥을 함께 준비할 여지를 만들지만, 실제 사용량은 평소 앱과 입력 길이를 포함해 확인해야 해요.

실행 조건과 핵심 내용

중복 제거로 DFlash2 포함 준비 메모리가 17.6GiB 줄었어요.
70K 문맥 점검에서 M5 Max는 47.2→29.6GiB, M3 Ultra는 42.2→24.6GiB였어요.
17.6GiB 절감은 모델 가중치 중복 적재가 사라진 결과예요.

가중치를 두 번 담던 경로가 한 번으로 바뀌었어요

DFlash2는 초안 모델이 다음 토큰을 제안하고 Qwen3.8-27B가 확인하는 실행 경로예요. TensorFold 1.0.8은 Mac에서 Qwen3.8-27B 가중치를 한 번만 유지해요.

표는 TensorFold 릴리스 점검에서 DFlash2를 포함해 70,000토큰 문맥으로 준비한 메모리를 보여 줘요. 같은 조건에서 버전만 바뀌었고, 각 Mac에서 17.6GiB씩 줄었어요.

검은 화면의 모니터와 소형 데스크톱, 여러 팬이 보이는 PC 본체 — 서버를 실행할 장비와 클라이언트 작업 공간을 함께 준비해요.

70K 문맥에서 준비 메모리가 줄었어요

아래 값은 TensorFold 릴리스 점검에서 서버와 DFlash2를 준비할 때 확보한 메모리예요. 1.0.7에서 1.0.8로 바뀌었고, 같은 70,000토큰 문맥과 생성 속도 조건에서 각 Mac의 준비 메모리가 17.6GiB씩 줄었어요.

표는 해당 Mac에서 TensorFold와 DFlash2를 준비한 프로세스 메모리예요. macOS와 평소 쓰는 앱도 같은 통합 메모리²를 사용해요. 자신의 Mac에서 서버를 실행한 뒤 활동 모니터의 메모리 압력과 스왑 증가 여부를 확인해야 실제로 남는 여유를 판단할 수 있어요.

좌우로 밀어 표 전체를 비교하세요.

TensorFold 릴리스의 70K 문맥 준비 메모리
장비	1.0.7	1.0.8	차이
M5 Max	47.2 GiB	29.6 GiB	−17.6 GiB
M3 Ultra	42.2 GiB	24.6 GiB	−17.6 GiB

먼저 --context 4096으로 서버를 열어 보고, 평소 앱을 켠 상태에서 문맥을 필요한 길이까지 늘려요. /memory는 기본 API³ 서버의 읽기 전용 HTTP 경로예요. 여기서 프로세스의 물리 메모리와 lifetime peak를 확인하면 긴 요청을 늘릴 여지가 있는지 가늠할 수 있어요.

TensorFold 1.0.8 릴리스 점검

1.0.8을 설치하고 DFlash2까지 실행해요

기존 Homebrew 설치본은 1.0.8로 올리고, 정확한 모델 저장소와 DFlash2 초안을 지정해요. tensorfold pull은 큰 모델 파일의 체크섬을 확인하고 중단된 다운로드에서 빠진 조각을 다시 받아요.

TensorFold 1.0.8로 업데이트

brew upgrade ashhart/tensorfold/tensorfold
tensorfold --version

M5 Max 또는 M3 Ultra에서 아래 명령으로 모델을 받은 뒤 서버를 실행해요. --context 4096은 시작 요청을 위한 테스트 값이고, 준비 메모리를 확인한 뒤 필요한 만큼 올려요. --drafter가 있어야 Qwen3.8-27B에 DFlash2를 붙여요.

Qwen3.8-27B와 DFlash2 받기

tensorfold pull TensorFold/Qwen3.8-27B-MLX-4bit
tensorfold pull z-lab/Qwen3.8-27B-DFlash2

Qwen3.8-27B 서버 시작

tensorfold serve TensorFold/Qwen3.8-27B-MLX-4bit --name qwen38-local --drafter z-lab/Qwen3.8-27B-DFlash2 --context 4096 --parallel 1 --temperature 0

문서 창이 열린 노트북과 페이지가 표시된 휴대전화가 케이블로 연결된 모습 — 메모리 점검은 모델을 쓰는 평소 작업 환경에서 이어가요.

준비 메모리와 일상 사용량을 나눠 읽어요

17.6GiB 절감으로 DFlash2와 Qwen3.8-27B를 함께 띄우거나 더 긴 문맥을 준비할 여지가 생겨요. 앱이 쓸 공간도 남겨야 하니 macOS 메모리 압력과 TensorFold의 /memory 진단을 함께 확인해요.

기본 API 서버의 메모리 진단 확인

curl -fsS http://127.0.0.1:8080/memory

서로 연결된 두 소형 데스크톱과 입자 흐름이 보이는 모니터 — 긴 문맥으로 늘리기 전에 서버 메모리와 Mac의 여유를 확인해요.

용어 각주

토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기
통합 메모리 — CPU와 GPU가 같은 물리 메모리 풀을 공유하는 구조입니다.
본문으로 돌아가기
API — 프로그램의 기능을 다른 코드에서 호출하기 위한 약속된 인터페이스입니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: TensorFold 1.0.8은 Qwen3.8-27B 가중치를 메모리에 한 번만 유지해 DFlash2와 함께 준비하는 메모리를 17.6GiB 줄였어요. 릴리스의 70,000토큰 문맥 점검에서 M5 Max는 47.2→29.6GiB, M3 Ultra는 42.2→24.6GiB로 바뀌었어요. 절약된 공간은 이 조합에서 DFlash2와 긴 문맥을 함께 준비할 여지를 만들지만, 실제 사용량은 평소 앱과 입력 길이를 포함해 확인해야 해요.
필요한 메모리는 어느 정도인가요?: 표는 해당 Mac에서 TensorFold와 DFlash2를 준비한 프로세스 메모리예요. macOS와 평소 쓰는 앱도 같은 통합 메모리를 사용해요. 자신의 Mac에서 서버를 실행한 뒤 활동 모니터의 메모리 압력과 스왑 증가 여부를 확인해야 실제로 남는 여유를 판단할 수 있어요.