로컬 AI 가이드
로컬 LLM 하드웨어 가이드
맥, NVIDIA GPU, DGX Spark와 AMD 통합 메모리 장비의 모델 적재량, 프리필, 토큰 생성 속도, 전력과 비용을 장비별로 확인합니다.
이 목록을 보는 순서
사용하려는 모델이 들어가는 메모리 용량으로 먼저 좁힌 뒤, 대표 모델의 토큰 생성 속도와 첫 토큰 시간, 지속 부하 전력과 현재 가격 범위를 차례로 비교하세요.
Mac mini M4 16GB
맥 미니 M4 16GB 로컬 LLM 속도와 추천 모델
비용을 최소화해 8B~12B급 모델부터 시작할 때 맞는 구성입니다.
Mac mini M4 24GB
맥 미니 M4 24GB 로컬 LLM 성능과 적정 모델
짧은 문서를 요약하고 코드 한 부분을 묻는 용도라면 큰 모델보다 지금 쓸 모델의 답변이 충분한지부터 보세요. 12B급 Q4가 목적에 맞으면, 32GB를 사야 할 이유는 메모리 여유가 더 필요한 작업이 있을 때입니다.
Mac mini M4 32GB
맥 미니 M4 32GB 로컬 LLM 27B 구동 성능
27B Q4를 쓰고 싶은데 PC를 새로 조립할 생각은 없을 때 비교할 구성입니다. 24GB에서 메모리가 부족했다면 여유를 늘리는 의미가 있습니다. 반대로 모델과 캐시가 이미 모두 들어갔다면, 32GB만으로 칩 자체가 빨라지는 것은 아닙니다.
Mac mini M4 Pro 48GB
맥 미니 M4 Pro 48GB 로컬 LLM 27B·35B 성능
27B급 모델로 문서를 읽히고 코드를 고치는 일을 반복한다면 용량뿐 아니라 매번 기다리는 시간도 중요해집니다. 이 페이지는 20코어 GPU·48GB 구성입니다. 더 저렴한 16코어 GPU 판매 옵션과 구분해 보세요.
Mac mini M6 32GB
맥 미니 M6 32GB 로컬 LLM: 24GB·M4 32GB와 무엇이 다를까
Qwen 27B급 Q4를 실행하면서 브라우저나 문서 앱도 함께 열어 둘 생각이라면 32GB가 비교 대상입니다. M6 24GB와 같은 170GB/s 메모리 대역폭이므로, 8GB를 더 사는 이유는 모델 적재 후 남는 공간이어야 합니다. 2026년 9월 22일 출시됐으며, 현재 판매 가격과 구성으로 비교할 수 있습니다.
Studio M4 Max 128GB
맥 스튜디오 M4 Max 128GB 로컬 LLM 대형 모델 성능
단일 완제품에서 70B급과 고정밀 모델까지 넓게 비교하려는 사람에게 맞아요.
RTX 3090 24GB
RTX 3090 24GB 로컬 LLM: 계속 써도 될까, 중고로 사도 될까
이미 RTX 3090이 있다면 목표 모델과 문맥이 24GB 안에 들어가는지부터 보세요. 필요한 작업이 끝까지 된다면 신형 카드가 나왔다는 이유만으로 바꿀 필요는 없습니다. 새로 중고를 산다면 카드값뿐 아니라 내 PC의 파워·냉각·케이스와 반품 조건까지 합쳐 비교합니다.
RTX 4090 24GB
RTX 4090 24GB 로컬 LLM과 이미지 생성 성능
24GB에 들어가는 LLM과 이미지 생성을 빠르게 처리하고 신형 최고가를 피하고 싶을 때 검토할 장비입니다.
RTX 5090 32GB
RTX 5090 32GB 로컬 LLM·이미지·영상 생성 성능
이미지 생성이나 27B~35B급 추론을 반복하면서 기다리는 시간을 줄이고 싶을 때 비교할 카드입니다. 다만 32GB도 끝이 있는 공간입니다. 필요한 모델·입력·이미지 해상도가 들어가는지 확인하지 않고 연산 성능만 보고 사면 오프로딩으로 돌아갈 수 있습니다.
Ryzen AI Max+ 395 128GB
Ryzen AI Max+ 395 128GB 로컬 LLM 가성비
대용량 통합 메모리를 낮은 가격으로 확보하고 런타임 설정을 직접 다룰 수 있을 때 매력적입니다.
Studio M5 Ultra 256GB
맥 스튜디오 M5 Ultra 256GB 로컬 LLM·에이전트 실사용 성능
Flash-Next 4비트와 MTP를 함께 쓴 공개 측정에서 4K 입력은 약 2,600~2,900 tok/s로 처리했고, 512토큰 답변은 약 90~112 tok/s 범위였어요. 256K 입력에서도 프리필은 2,500 tok/s 안팎을 유지했어요. 큰 통합 메모리뿐 아니라 장문 프롬프트의 첫 응답 대기가 줄어든 점이 M3 Ultra와 가장 큰 차이예요.
Studio M5 Ultra 512GB
맥 스튜디오 M5 Ultra 512GB 가격 3,805만원, 256GB와 비교
256GB 실측에서는 Flash-Next 4·5비트가 RAM에 들어갔지만 6·8비트는 PLE 임베딩 테이블을 SSD로 내려야 했어요. 512GB의 값어치는 같은 칩을 더 빠르게 만드는 게 아니라 이 고정밀 가중치와 큰 캐시를 메모리에 남겨 두는 데 있어요. 6·8비트를 상시로 돌리거나 여러 모델을 동시에 올려 둔다면 1,955만원 차이를 계산해 볼 만해요.
Studio M3 Ultra 512GB
맥 스튜디오 M3 Ultra 512GB 로컬 LLM: 256GB로 충분할까
이 장비는 256GB 구성에 담기지 않는 모델·양자화·입력 캐시 조합을 한 대에서 실행할 때 검토할 대상입니다. 512GB라는 숫자만 보고 고르기 전에 실제 모델 파일과 함께 열 앱의 메모리를 합산하세요. Qwen3.8-Flash-Next Q4 한 개가 목적이라면 더 작은 메모리 구성과 같은 조건으로 비교하는 편이 먼저입니다.
DGX Spark 128GB
NVIDIA DGX Spark 128GB 로컬 LLM 선택 기준
큰 모델을 여러 그래픽카드에 나누지 않고 한 대에서 다루려는 용도예요. 128GB라는 용량을 사는 이유가 있어야 합니다. 지금 쓸 모델이 24GB나 32GB에 들어간다면, Spark의 큰 메모리만 보고 더 빠를 것이라 기대하지 마세요.