Muse Spark Open을 Mac 한 대에서 실행할 수 있을까요?

Muse Spark Open은 텍스트·이미지·영상·오디오를 입력받아 텍스트로 답하는 멀티모달 언어 모델이에요. 전체 파라미터는 816B, 토큰³마다 활성화되는 파라미터는 42B이며 추론 시 최대 1M 토큰 문맥을 지원해요. 코딩과 에이전트 작업을 겨냥했지만, 로컬 실행을 검토할 때는 먼저 가중치와 실행 여유 메모리를 감당할 장비가 있는지 확인해야 해요. Meta 모델 카드

가중치 정밀도와 양자화⁴에 따라 파일 크기는 달라져요. Meta 모델 카드는 GPU⁵ 배포 기준으로 NVFP4도 최소 700GB VRAM⁶, BF16⁷은 2TB를 안내하고, 메모리는 KV 캐시⁸와 활성값에도 더 필요하다고 설명해요. 이 수치는 단일 소비자 GPU의 가능 여부가 아니라 대형 서버 배포 요구를 보여주는 기준이에요.

Meta와 Apple이 소개한 MLX 분산 실행은 M5 Ultra Mac Studio 두 대를 사용하며, 각 기기는 통합 메모리⁹ 512GB를 갖춰요. 별도로 oMLX 0.7.1rc1은 370GB oQ3e 체크포인트¹⁰를 M3 Ultra 통합 메모리 512GB 단일 Mac에서 실행한 결과를 공개했어요.

양자화와 실행 엔진이 다르므로 두 결과의 성능 수치를 직접 비교하지 마세요. Apple의 MLX 조건 · oMLX 0.7.1rc1

분산 실행은 macOS 26.2 이상과 Mac 사이의 직접 Thunderbolt 5 RDMA 연결을 전제로 해요. 먼저 hostfile에 각 Mac과 Thunderbolt IP·RDMA 장치 정보를 등록하세요. Meta 안내의 mlx.distributed_config가 hostfile.json을 만드는 절차를 설명하고, 기존 JACCL 가이드도 연결 설정부터 확인 명령까지 다룹니다. 아래 서버 명령은 파일을 둔 기본 Mac에서 실행해요.

mlx.launch --hostfile hostfile.json --backend jaccl \
  --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.server \
    --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
    --port 8080

아래 표는 Apple이 8,192 토큰 문맥에서 측정한 M5 Ultra의 NVFP4 MLX 분산 결과예요. 단일 Mac의 oQ3e와는 모델 형식과 실행 엔진이 다르므로 수치를 직접 비교하지 말고, 각 경로에서 내 입력으로 확인하세요.

Mac 한 대에서는 Meta의 분산 NVFP4 경로와 구별해 oMLX 0.7.1rc1의 mlx-community/Muse-Spark-Open-816B-A42B-oQ3e 변형을 선택해요. 모델 파일은 370GB이며, 릴리스 노트는 M3 Ultra 512GB Mac에서 이 체크포인트가 로드된다고 안내합니다. oMLX는 릴리스 후보이므로 안정판과 구분해 사용하세요. oMLX 릴리스 노트

oMLX 앱에서 Models > Downloader의 Recommended 탭을 열고 Muse Spark Open oQ3e를 선택해요. 다운로드 전에 저장 공간에 370GB 파일을 받을 여유가 있는지 확인하고, 완료되면 모델 목록에서 불러옵니다. 첫 요청은 짧은 텍스트와 작은 문맥으로 시작해 메모리 경고 없이 답하는지 확인한 뒤 이미지나 긴 문맥을 추가하세요. 모델 권장 기능

이 M3 Ultra 512GB·oQ3e 실행에서 oMLX 0.7.1rc1은 프리필¹¹ 225 tok/s, 디코드¹² 21.3 tok/s를 보고했어요. 릴리스 노트에는 입력 길이와 출력 토큰 등 전체 조건이 없으므로 Apple의 8,192 토큰 M5 Ultra 표와 직접 비교하지 마세요. 내 문서로 여러 번 실행하고 모델 로딩·프리필·디코드를 나눠 기록하면 실제 작업의 적합성을 확인할 수 있어요.

모델이 목록에 없거나 로딩되지 않으면 oQ3e 변형인지, 다운로드가 끝났는지 확인해요. 파일이 온전한데 메모리 경고가 나오면 다른 모델을 내리고 문맥을 줄여 다시 실행합니다. oMLX 로그에서 첫 로딩 오류를 확인하고, 사용 중인 버전의 릴리스 노트에 해당 모델 지원이 표시되는지도 살펴보세요.

Meta 모델 카드는 텍스트·이미지·영상·오디오를 입력받고 텍스트로 답한다고 안내해요. 실제 이미지·영상·오디오 요청 형식은 MLX 어댑터나 실행 엔진에 따라 달라지므로 해당 문서의 예제를 따라 입력을 구성하세요.

가중치는 Muse Model License로 공개됐어요. 서비스에 쓰거나 모델을 재배포하려면 라이선스 전문에서 해당 이용 조건을 먼저 확인하세요.