Gemma 4 12B 서빙 설정: Q4 데스크톱과 BF16 서버

데스크톱에서는 현재 앱이 지원하는 GGUF 또는 MLX Q4 변환본을 선택합니다. 16GB급 장비라도 운영체제와 캐시 여유에 따라 실행 범위가 달라집니다. 받을 파일의 실제 크기를 확인하고 짧은 문맥에서 시작하세요.

공식 google/gemma-4-12B-it의 BF16 가중치는 약 24GB 규모입니다. 아래 vLLM 예시는 이를 담을 더 큰 NVIDIA 환경의 경로로, Q4 데스크톱 명령과 다릅니다. 같은 모델 이름 때문에 두 경로의 메모리 조건을 섞지 마세요.

처음에는 이미지나 음성 대신 짧은 한국어 질문을 씁니다. 텍스트 기준값을 얻은 뒤 지원되는 입력을 추가해야 어떤 기능에서 부담이 커졌는지 구분할 수 있습니다.

LM Studio에서는 목록에서 확인한 실제 모델 식별자를 넣고 8K 문맥 예시로 시작합니다. 부족하다면 더 줄여 정상 적재부터 확인하세요. --gpu=max는 요청한 설정이며 실제로 어떤 부분이 GPU에 올라갔는지는 앱의 표시와 로그로 확인합니다.

LM Studio의 서버 주소는 여기서 1234 포트, vLLM 예시는 8000입니다. 다른 명령의 주소를 섞지 마세요. LM Studio의 네트워크 제공 설정에서도 로컬 접근 범위를 확인하고, 다른 기기에 공개할 경우 인증과 방화벽을 먼저 준비합니다.

프로그램이 켜졌다는 것만으로 모델이 준비된 것은 아닙니다. 적재 완료와 실제 문맥 설정을 확인한 뒤 질문을 보냅니다. 대기 중에 여러 요청을 겹쳐 보내면 첫 실행의 메모리 상태를 이해하기 어려워집니다.

아래 요청의 모델 이름을 실제 식별자로 바꿉니다. 문장이 중간에 멈추는지, 요청한 언어로 답하는지 먼저 확인하세요. 스트리밍을 요청하면 조각이 도착하는 모습도 볼 수 있지만 정확한 tok/s는 런타임 측정값을 따로 사용합니다.

준비 실행 뒤 같은 질문 세 번의 첫 토큰·생성 속도·피크 메모리를 기록합니다. 이어서 평소 요약할 문서로 바꾸어 차이를 봅니다. 간단한 자기소개가 된다는 사실만으로 긴 업무 문서도 충분하다고 결론 내리지는 않습니다.

생성 결과의 품질도 함께 보세요. 짧은 질문에는 잘 답해도 날짜나 예외 조건을 놓칠 수 있습니다. 정답을 확인할 수 있는 문서 질문을 하나 남기면 설정 변경 뒤 비교하기 좋습니다.

현재 모델 파일과 앱이 지원하는 입력인지 먼저 확인합니다. 한 종류씩 추가하고 메모리가 얼마나 늘었는지 보세요. 텍스트만 쓸 때 남던 공간이 인코더와 입력 처리에 사용될 수 있습니다.

작은 메모리에서 실패한다면 문맥과 동시 요청 수를 먼저 낮춥니다. 캐시 정밀도나 오프로드를 바꿀 때도 한 항목씩 비교하세요. 이미 Q4인 모델에 다시 Q4를 고르는 식으로는 다른 원인의 부족을 해결하지 못합니다.

매일 필요한 입력에서만 문제가 반복된다면 더 큰 메모리를 검토할 이유가 있습니다. 반대로 텍스트 작업이 충분하다면 멀티모달 최대 조건을 위해 장비 전체를 키울 필요는 없을 수 있습니다.

12B가 평소 문서를 충분히 처리하고 기다림도 괜찮다면 더 큰 모델로 올라가지 않아도 됩니다. 부족한 질문이 생겼을 때 그 질문을 다음 모델에 그대로 보내 비교하는 편이 차이를 알기 쉽습니다.

안정적으로 쓴 파일과 앱 버전, 입력 길이를 저장하세요. 다시 설치하거나 업데이트할 때 돌아갈 기준이 됩니다. 작은 장비에서 성공한 작업 하나가 생기면 다음에 필요한 성능도 더 구체적으로 말할 수 있습니다.

Gemma 4 로더가 포함된 SGLang 분기가 필요합니다. FFN은 NVFP4, 어텐션은 BF16입니다.

SGLang · AxionML/Gemma-4-12B-NVFP4