맥 스튜디오 M5 Ultra 256GB 큰 모델을 담는 데서 끝나지 않고, 긴 입력을 읽는 시간이 크게 줄었습니다.
Flash-Next 4비트와 MTP를 함께 쓴 공개 측정에서 4K 입력은 약 2,600~2,900 tok/s로 처리했고, 512토큰 답변은 약 90~112 tok/s 범위였어요. 256K 입력에서도 프리필은 2,500 tok/s 안팎을 유지했어요. 큰 통합 메모리뿐 아니라 장문 프롬프트의 첫 응답 대기가 줄어든 점이 M3 Ultra와 가장 큰 차이예요.
같은 모델로 속도와 메모리 확인
하드웨어 핵심 사양
- 사용 가능 메모리
- 236GB
- 메모리 대역폭
- 1200GB/s
- LLM 지속 부하 추정
- 약 300W
- 현재 참고 범위
- 1,850만원–2,000만원
잘 맞는 사람
- 긴 문맥을 쓰는 로컬 에이전트
- Flash-Next 4·5비트 상시 서빙
- 여러 요청을 한 대에서 병렬 처리
이 경우에는 건너뛰세요
32GB 안에 들어가는 모델의 짧은 요청은 RTX 5090이 더 빠를 수 있습니다. CUDA 전용 도구도 그대로 쓸 수 없습니다. Flash-Next 6·8비트는 256GB 실사용 환경에서 PLE 임베딩 테이블을 SSD로 내려야 했으므로, 고정밀 모델을 전부 메모리에 올리는 목적이라면 512GB 구성을 기다려야 합니다.
장비별 추천 포맷 · 4K 입력
이 장비에서 체감할 모델
K2 Horizon 0.9B
필요 1.03GB · 여유
MLX 4비트
토큰 생성
1630.2 ~ 1811.3 tok/s
첫 토큰
0.30 ~ 0.55초
Qwen3.8-Flash-Next
추천필요 155GB · 여유
oMLX 0.7.0 (4d4f5a28) · mlx-lm 94cdcae · mlx 0.32.2 · native kernels · Lightning MTP on
토큰 생성
115.0 ~ 172.6 tok/s
첫 토큰
0.70 ~ 1.0 초
GLM-5.3-Flash (MoE)
필요 190.51GB · 적정
oMLX 0.7.0 (4d4f5a28) · mlx-lm 94cdcae · mlx 0.32.2 · native kernels · Lightning MTP on
토큰 생성
51.2 ~ 76.8 tok/s
첫 토큰
1.5 ~ 2.3 초
실제 속도는 런타임 버전과 냉각 상태, 문맥 길이, 양자화 파일에 따라 달라져요.
구매 판단
어떤 작업에 맞는가
로컬 에이전트
쾌적Flash-Next 4비트는 16K 입력을 약 2,700~3,050 tok/s로 읽고, MTP 사용 시 답변을 84~108 tok/s 범위로 생성했습니다.
긴 문서·코드베이스
적합Flash-Next는 256K 입력에서도 약 2,500 tok/s 안팎의 프리필을 유지했습니다. 모델별 최대 문맥과 실제 캐시 메모리는 따로 확인해야 합니다.
고정밀·여러 모델 상주
조건부4·5비트는 RAM에 들어갔지만 6·8비트는 256GB에서 PLE SSD 오프로드가 필요했습니다. 이 용도는 512GB와 비교하세요.
- 가장 먼저 막히는 것
- 단일 요청의 생성 속도는 메모리 대역폭, 첫 토큰 대기는 GPU 연산과 프롬프트 길이의 영향을 크게 받습니다. 요청을 세 개로 늘리면 합산 처리량은 올라가지만 각 요청은 느려집니다.
- 확인할 구성
- M5 Ultra · 36코어 CPU · 80코어 GPU · 통합 메모리 256GB · 모델 보관용 SSD 2TB 이상 권장
- 돈을 더 쓸 기준
- Flash-Next oQ4e는 실행 중 약 155GB, oQ5e는 약 179GB를 사용한 공개 기록이 있어 256GB 안에서 운용할 수 있습니다. oQ6e·oQ8e까지 RAM에 모두 올리거나 여러 대형 모델을 동시에 상주시킬 계획이 아니라면, 512GB의 추가 비용보다 256GB의 실제 대기 시간과 동시 요청 처리량을 먼저 확인하는 편이 낫습니다.
판매 페이지에서는 칩보다 메모리를 먼저 보세요.
같은 제품명이라도 256GB 구성이 아니면 위 모델과 속도 조건이 달라집니다.
자주 묻는 질문
- Studio M5 Ultra 256GB에서 어떤 로컬 LLM을 돌릴 수 있나요?
- K2 Horizon 0.9B, Qwen3.8-Flash-Next, GLM-5.3-Flash (MoE) 등을 4K 입력과 추천 포맷으로 비교할 수 있어요. 필요한 메모리는 모델과 문맥 길이에 따라 달라져요.
- Studio M5 Ultra 256GB의 로컬 LLM 전력은 어느 정도인가요?
- 지속 부하 기준 약 300W이고 실제 범위는 220–430W로 보여요.
- 표시된 토큰 속도는 실측값인가요?
- 수집한 벤치마크 실측을 같은 조건으로 맞춘 범위예요. 같은 조건의 실측이 없는 조합은 가까운 실측값을 기준으로 추정하고, 런타임과 냉각, 양자화 파일, 문맥 길이에 따라 달라져요.
함께 비교할 장비
고정밀 모델을 RAM에 올릴 때
Studio M5 Ultra 512GB
256GB 실측에서는 Flash-Next 4·5비트가 RAM에 들어갔지만 6·8비트는 PLE 임베딩 테이블을 SSD로 내려야 했어요. 512GB의 값어치는 같은 칩을 더 빠르게 만드는 게 아니라 이 고정밀 가중치와 큰 캐시를 메모리에 남겨 두는 데 있어요. 6·8비트를 상시로 돌리거나 여러 모델을 동시에 올려 둔다면 1,955만원 차이를 계산해 볼 만해요.
128GB로 충분한 작업
Studio M4 Max 128GB
단일 완제품에서 70B급과 고정밀 모델까지 넓게 비교하려는 사람에게 맞아요.
작은 모델의 최고 속도
RTX 5090 32GB
이미지 생성이나 27B~35B급 추론을 반복하면서 기다리는 시간을 줄이고 싶을 때 비교할 카드입니다. 다만 32GB도 끝이 있는 공간입니다. 필요한 모델·입력·이미지 해상도가 들어가는지 확인하지 않고 연산 성능만 보고 사면 오프로딩으로 돌아갈 수 있습니다.