Slotstream: 125B 모델을 16GB 맥에서 돌리는 방법

Slotstream은 애플 실리콘 맥에서 1,250억 파라미터 모델을 돌리는 실행 프로그램³이에요. 모델 파일은 약 105GB인데, 16GB 맥에서도 실행되는 것이 이 도구의 목적이에요. 모델 전체를 메모리에 올리지 않고, 지금 계산에 필요한 부분만 SSD에서 읽어 와요.

모델 파일 105GB를 16GB 메모리에 맞추는 방법은 하나예요. 계산에 쓰이지 않는 부분을 디스크에 두고, 쓰이는 순간에만 읽는 거예요. 디스크 읽기 속도가 생성 속도를 크게 좌우해요.

Qwen3.8-Flash-Next는 전문가 네트워크를 여러 개 두고 토큰마다 일부만 쓰는 MoE⁴ 모델이에요. 공유 가중치는 메모리에 두고, 선택된 전문가만 SSD에서 캐시로 불러와요. 자주 쓰는 전문가는 메모리에 남겨 다음 읽기를 줄여요.

그래서 메모리가 작은 맥에서는 디스크 읽기가 속도를 정하고, 메모리가 큰 맥에서는 전문가를 더 많이 들고 있어 속도가 올라가요. 어느 쪽이든 계산 결과는 같아요.

애플 실리콘 맥과 macOS 14 이상이 필요하고, SSD 여유 공간은 약 110GB예요. 메모리는 16GB부터 지원하며, 8GB 맥에서는 가장 작은 메모리 계획도 들어가지 않아 실행을 거부해요.

윈도우와 리눅스, 인텔 맥은 지원하지 않아요. 애플 실리콘과 MLX⁵, Metal⁶ 위에서 도는 구조라 다른 환경에서는 실행되지 않아요.

디스크 여유가 부족하면 모델을 내려받는 도중에 멈춰요. 모델 파일과 캐시가 같은 디스크를 쓰기 때문에 110GB보다 조금 더 두는 편이 안전해요.

터미널에서 설치 스크립트를 실행해요. 같은 명령을 다시 실행하면 업데이트가 돼요.

curl -LsSf https://raw.githubusercontent.com/carloslfu/slotstream/main/install.sh | sh

설치 뒤에는 doctor로 맥 상태를 확인하고 run으로 첫 답을 받아요. 처음 실행할 때 모델을 내려받고, 중단해도 이어받기가 돼요.

slotstream doctor
slotstream run --prompt "하늘이 파란 이유가 뭐야?"

내려받는 파일은 100GB를 넘기 때문에 회선에 따라 몇 시간이 걸릴 수 있어요. 한 번 받아 두면 이후에는 오프라인에서도 실행돼요.

설치된 메모리에 따라 기대 속도와 자동 문맥 길이가 달라져요. 아래 값은 개발팀이 공개한 추정치이고, 실제 속도는 다른 앱의 메모리 사용에 따라 낮아져요.

96GB 이상은 모델이 메모리에 다 들어가는 구간이라, 전체를 올리는 엔진이 더 빠르다고 개발팀이 밝혀요.

개발팀이 공개한 측정은 2026년 10월 5일, 48GB M5 Pro에서 33GB 메모리 예산으로 진행했어요. 원본 4비트 모델을 썼고, 세 가지 작업을 각각 세 번씩 돌렸어요.

이 값은 답을 만드는 구간만 잰 것이에요. 모델을 올리는 시간과 프롬프트⁷를 읽는 시간은 따로 들어가서, 대화를 처음 시작할 때는 표보다 느리게 느껴져요.

이전 0.2.19 릴리스는 22GB 예산에서 초당 15.86토큰을 기록했어요. 예산이 커지면 전문가를 더 많이 메모리에 두게 되어 디스크 읽기가 줄어요.

개발팀은 이 숫자가 같은 설정에서의 속도 향상을 뜻하지는 않는다고 밝혀요. 예산과 작업 묶음, 측정 방식이 서로 달라서 릴리스 간 비교로 읽으면 안 돼요.

다음 층에서 어떤 전문가가 필요할지 미리 예측해, 필요해지기 전에 SSD에서 읽어 와요. 이 예측은 속도만 바꾸고 출력은 바꾸지 않아요.

전문가 캐시는 다른 앱이 메모리를 요구하면 줄어들어요. 캐시가 줄면 속도는 떨어지지만, 모델에서 전문가가 빠지는 것은 아니에요.

메모리 목표를 지정하지 않으면 33GB를 기준으로 잡고, 맥의 실제 여유에 맞춰 조정해요. 시작할 때 예산과 캐시 크기, 여유분을 나눠서 보여줘요.

메모리 목표를 직접 지정할 때는 값이 최대 예산일 뿐, 그만큼 항상 쓰는 것은 아니에요. 짧은 요청은 목표보다 훨씬 적게 쓰고 끝나요.

Ollama, OpenAI, Anthropic 형식 API⁸를 함께 열어요. Claude Code, Codex, opencode, Hermes를 연결해 쓸 수 있고, launch 뒤에 도구 이름을 붙여 실행해요.

slotstream launch claude

동시에 여러 요청을 처리하지는 않아요. 연결된 앱이 같은 모델 하나를 나눠 쓰기 때문에, 여러 에이전트를 동시에 돌리는 용도라면 다른 도구가 맞아요.

이 도구는 16GB부터 64GB까지의 맥을 기준으로 만들어졌어요. 그보다 큰 메모리를 가진 맥에는 이 방식이 필요하지 않아요.

PLE⁹ 오프로드처럼 모델 구조를 활용해 메모리를 나누는 방식과는 다르게, 이 도구는 전문가 단위로 디스크와 메모리를 오가요. 같은 모델을 다뤄도 무엇을 디스크에 두는지가 달라요.

이미지 정확도 벤치마크와 다른 모델과의 비교는 아직 없어요. 생성은 모델 파일을 다시 쓰지 않지만, 자동 설정을 크게 넘기면 스왑이 늘어 SSD 쓰기가 발생해요.