Q4_K_M · 4K 문맥 기준

Gemma 4 26B-A4B (MoE) 총 25.2B 중 토큰당 3.8B가 활성화되는 MoE 모델 · Q4_K_M 예상 메모리 약 16GB

총 25.2B 파라미터 중 토큰당 3.8B가 활성화되는 MoE 모델입니다. 256K(262,144) 네이티브 컨텍스트를 지원하며 적재 대비 빠른 디코딩을 제공합니다.

Q4_K_M 예상 메모리
약 16GB
총 파라미터
25.2B
활성 파라미터
3.8B
네이티브 문맥
256K

모델에서 장비로

이 모델을 돌릴 장비 찾기

문서 검색도 함께 돌린다면

임베딩·재정렬 모델을 같은 GPU 또는 통합 메모리에 올릴 때 남겨둘 공간입니다. CPU에서 따로 실행한다면 추가 없음으로 두세요.

조건에 맞는 장비 55· 5개 표시

Mac mini M6 24GB

여유 있게 사용 · Q4_K_M · 여유 4.4GB

₩2,179,000

13.1 ~ 34.7 tok/s

Mac mini M4 Pro 24GB

여유 있게 사용 · Q4_K_M · 여유 4.4GB

₩2,650,000

23.4 ~ 55.8 tok/s

Mac mini M6 32GB

여유 있게 사용 · Q4_K_M · 여유 11.4GB

₩2,774,000

13.1 ~ 34.7 tok/s

MBA M5 24GB

여유 있게 사용 · Q4_K_M · 여유 4.4GB

₩2,849,500

11.2 ~ 31 tok/s

MBP M3 Pro 36GB

여유 있게 사용 · Q4_K_M · 여유 14.4GB

₩2,850,000

11.2 ~ 31 tok/s

가격은 범위의 중간값이며 GPU 단품에는 기본 본체 비용을 더했습니다. 속도는 동일 모델·4K 입력의 추정 범위입니다.

실행 가이드

Gemma 4 26B-A4B (MoE) 로컬 서빙 실행 레시피

장비를 고르면 양자화, 안전 문맥, GPU 오프로드, Flash Attention, KV 캐시와 배치 시작값이 함께 바뀍니다.

장비별 속도 튜닝

장비부터 다시 고르고 싶다면

예산, 소음, 운영체제와 중고 허용 여부를 기준으로 모델이 들어가는 구성을 먼저 좁힐 수 있습니다.