Gemma 4 공개: 12B와 26B-A4B 중 내 장비에 맞는 모델

기계에 경고등이 켜졌다면 사진과 제조사 설명서의 관련 절을 함께 넣고, 사진에서 어떤 표시가 보이며 설명서가 어떤 점검 순서를 안내하는지 물어볼 수 있어요. 답변에서는 눈에 보이는 신호와 문서의 절차가 구분되는지 확인해요.

먼저 설명서 텍스트만 보내 필요한 절차를 찾는지 확인하고, 다음에 사진을 추가해 앱이 이미지 입력을 모델까지 전달하는지 시험해요. 제품군에 이미지·오디오 지원이 있어도 선택한 크기, 변환 파일, 실행 앱의 조합이 해당 입력을 처리해야 해요. 사진을 붙였는데도 답이 텍스트만 받은 것처럼 보인다면 입력 경로부터 점검해요.

12B는 밀집형 모델이라 토큰²을 계산할 때 전체 모델 경로가 참여해요. 26B-A4B는 약 26B 규모의 MoE이고 토큰당 약 4B가 활성화돼요. 활성 수치는 해당 토큰의 계산 규모를 나타내며 전체 파일 크기를 뜻하지 않아요. 다음 토큰에 필요한 전문가가 달라질 수 있어 전체 가중치에 접근해야 해요.

공식 안내의 12B 원본 가중치 약 24GB는 데스크톱에서 받을 Q4 변환 파일과 같은 값이 아니에요. 저장 정밀도와 파일 형식이 다르기 때문이에요. 실제 파일 크기를 확인하고, 실행 중에는 문맥에 따른 KV 캐시³와 런타임⁴ 공간도 더 필요하다는 점을 고려해요.

4비트 원시 가중치만 있다고 가정한 단순 계산은 파라미터 수×4÷8이에요. 십진수 GB로 보면 12B는 6GB, 26B는 13GB가 나오지만 실제 다운로드 파일이나 실행 메모리는 아니에요. 블록 메타데이터와 스케일, 일부 다른 정밀도의 구성 요소, 비전 입력과 런타임이 계산에 포함되지 않아요.

16GB급 장비는 12B Q4를 살펴볼 출발점이에요. 실제로 로드되는지는 파일, 실행 앱, 메모리를 함께 쓰는 다른 프로그램에 따라 달라요. 짧은 설명서 발췌와 한 요청으로 시작한 뒤, 평소 브라우저와 문서 앱을 켠 상태에서도 같은 질문을 해 보세요. Mac의 통합 메모리⁵는 CPU⁶·GPU⁷·운영체제·앱이 나누어 써요.

같은 16GB라도 디스크리트 GPU의 VRAM⁸과 Mac의 통합 메모리는 다르게 나뉘어요. PC에서는 시스템 RAM⁹이 따로 있어도 그래픽 표시나 다른 GPU 작업이 VRAM을 사용할 수 있고, Mac에서는 CPU와 GPU가 같은 통합 메모리를 함께 사용해요. 모델을 바꾸기 전에 어떤 메모리가 부족한지 실행 앱의 표시와 로그에서 살펴보세요.

24GB 이상은 26B-A4B Q4를 비교해 볼 시작 구간이에요. 같은 사진과 설명서 절을 두 후보에 보내고, 사진에 보이는 표시와 문서의 점검 절차를 각각 정확히 짚는지 확인해요. 더 긴 설명이나 더 큰 모델 이름만으로 더 나은 결과라고 판단하지 말고, 먼저 어떤 조건을 맞힐 답인지 정해 두세요.

기록에는 모델 파일과 앱, 문서 범위, 이미지가 입력됐는지, 각 답이 어느 근거를 놓쳤는지를 함께 남겨요. 한 후보가 이미지를 받지 못했다면 모델 크기를 비교한 결과가 아니에요. 입력 경로를 맞춘 뒤에도 12B가 중요한 조건을 반복해서 놓치고, 실행 환경에 메모리 여유가 있을 때 더 큰 후보를 검토할 이유가 생겨요.

이 모델은 사진과 설명서를 바탕으로 정보를 찾는 보조 도구예요. 기계의 상태 진단이나 수리 결정을 대신하지 않으므로, 안전 조치가 걸린 답은 제조사 원문 설명서와 담당자의 판단으로 확인해요.