Gemma 4 26B-A4B 서빙 설정: 24GB~32GB Q4와 BF16 서버

이 모델은 약 25.2B 전체 중 토큰당 약 3.8B가 활성화되는 MoE입니다. 활성 부분만 받아 실행하는 것이 아니므로 전체 변환본의 크기를 확인합니다. 24GB VRAM이나 큰 통합 메모리에서도 캐시와 앱 몫을 남겨야 합니다.

공식 BF16 체크포인트와 Q4 데스크톱 경로는 다릅니다. 공식 google/gemma-4-26B-A4B-it 예시는 더 큰 메모리의 NVIDIA 서버용입니다. Q4로 들어간 장비에서 공식 모델 ID만 바꿔 같은 용량을 기대하지 마세요.

MoE를 지원하는 앱이어도 새 모델 구조와 양자화의 지원은 별도입니다. 먼저 파일의 권장 런타임을 확인하고 모델을 정상적으로 불러오는 것부터 시작합니다.

LM Studio의 실제 식별자를 확인해 아래 예시를 맞춥니다. 8K에서도 공간이 부족하다면 길이를 낮춰 적재부터 확인합니다. 가장 큰 문맥을 켜야 모델의 성능을 모두 쓴다는 뜻은 아닙니다.

LM Studio는 이 예시에서 1234, vLLM은 8000 포트를 사용합니다. 주소와 모델 이름을 같은 경로로 맞추세요. 로컬 전용 접근 설정을 확인하고 외부에 제공할 계획이면 인증과 네트워크 제한을 별도로 준비합니다.

실제 GPU 점유와 CPU에 남은 부분을 확인합니다. 가중치가 일부 넘어갔다면 낮은 활성 계산량이 있어도 전송 때문에 생성이 느릴 수 있습니다. 이 상태를 정상 GPU 적재 결과와 같은 조건으로 비교하지 마세요.

짧은 질문이 정상적으로 끝나면 평소 문서를 넣어봅니다. 준비 실행 뒤 세 번의 중앙값을 기록하되, 처음 읽는 문서와 입력 캐시를 재사용한 요청은 나눠 남기세요. 첫 토큰 시간과 디코드도 구분합니다. 토큰 수와 양자화가 다른 결과를 장비 성능 차이로 읽지 않는 것이 중요합니다.

Dense 모델보다 빠를 수는 있지만 항상 그렇지는 않습니다. MoE 커널과 메모리 접근, 캐시 조건의 영향을 받습니다. 평균 활성 수치 하나로 실제 속도를 역산하지 말고 런타임의 실행 결과를 사용하세요.

빠른 답변에서 중요한 조건이 빠지지 않았는지도 봅니다. 반복해서 쓸 질문 몇 개의 정답 확인이 최고 tok/s 하나보다 모델 선택에 도움이 됩니다.

모델 본체는 그대로라도 KV 캐시와 임시 공간이 늘어날 수 있습니다. 동시 요청을 한 개로 두고 8K에서 필요한 길이까지 단계적으로 올리세요. 갑자기 느려지면 스왑과 메모리 압박, CPU 오프로드 여부를 먼저 확인합니다.

지원되는 캐시 압축을 시험하더라도 가중치 정밀도와 동시에 바꾸지 마세요. 어느 변경이 품질이나 속도에 영향을 줬는지 알아야 합니다. 문제가 생기면 직전에 정상적으로 동작한 길이로 돌아가 비교합니다.

상위 메모리의 가치는 한 번 모델을 켜는 데서 끝나지 않습니다. 평소 긴 입력과 다른 앱을 함께 써도 공간이 남는지까지 확인할 때 내게 필요한 옵션인지 판단할 수 있습니다.

12B보다 더 좋은 결과가 필요한 질문이 있었는지, 그 차이를 이 모델에서 실제로 얻었는지 봅니다. 차이가 없다면 작은 모델을 여유 있게 유지하는 것도 가능합니다. 크기가 커졌다는 사실만으로 불편한 대기를 받아들일 필요는 없습니다.

원하는 결과와 속도를 찾았다면 파일·버전·문맥·캐시 설정을 저장하세요. 모델의 가능성을 확인하는 단계에서 매일 쓰는 도구로 넘어가기 위한 마지막 작업입니다.

현재 체크포인트 안내는 TP=1 기준입니다. MoE 백엔드는 CUTLASS 또는 Marlin을 확인하세요.

vLLM · nvidia/Gemma-4-26B-A4B-NVFP4