LLM 양자화란? Q4·Q8·FP16 선택 기준

모델은 가중치라는 수치를 이용해 입력을 처리하고 다음 토큰⁴을 계산해요. 양자화는 이 수치를 적은 단계로 표현해 더 작게 저장하는 과정이에요. 16비트에서 4비트로 바꾸면 숫자 자체에 쓰는 비트 수는 4분의 1이 돼요. 실제 파일에는 보조 값, 메타데이터와 높은 정밀도로 남긴 부분이 더해지므로 다운로드 용량도 함께 확인하세요.

모델은 같은 PDF를 입력받아도 가중치 표현에 따라 조금 다른 답을 만들 수 있어요. 양자화 과정에서 원래 수치를 표현하는 단계가 줄어들기 때문이에요. 용량이 줄어 실행할 수 있게 된 장점과, 내 작업에서 중요한 정보가 답에 제대로 담기는지를 함께 비교하면 돼요.

먼저 사용할 앱이 읽는 형식으로 후보를 좁혀요. llama.cpp 계열은 GGUF⁵, MLX⁶ 실행기는 MLX 변환본, AWQ·GPTQ를 지원하는 서버는 해당 배포본을 선택해요. 그 안에서 Q4·Q8처럼 정밀도가 다른 파일의 용량과 답변을 비교하면 돼요. 그룹 크기와 보정 값, 혼합 정밀도가 다른 파일은 같은 4비트 표기여도 결과가 달라질 수 있어요.

같은 원본 모델인지, 토크나이저와 채팅 템플릿이 맞는지도 확인해요. 이미지 입력의 인코더나 MTP⁷처럼 별도 구성요소가 필요한 기능은 해당 배포본에 포함돼야 해요. 파일이 작아진 이유와 필요한 기능의 지원 여부를 함께 살펴보면 다운로드 뒤 다시 받는 일을 줄일 수 있어요.

Q8은 VRAM⁸을 넘어 일부를 시스템 RAM⁹에 두고, Q4는 전부 GPU¹⁰에 들어가는 경우를 생각해볼게요. Q4에서 오프로딩¹¹이 줄면 가중치를 두 메모리 사이로 옮기는 시간도 줄어요. 같은 장비에서 양자화를 바꿨을 때 체감이 크게 달라지는 한 가지 이유예요.

두 파일 모두 GPU에 들어가면 읽을 데이터량과 양자화 연산을 처리하는 커널의 효율이 중요해요. 파일 크기 비율 대신 같은 입력의 프리필¹²과 디코드¹³를 따로 기록하세요. 원본 모델, 정확한 파일명, 앱 버전, 메모리 배치와 캐시 설정을 남기면 차이가 생긴 조합을 다시 확인할 수 있어요.

계약서의 갱신일과 자동 연장 예외를 확인한다면, 원문에서 정답과 근거 문장을 먼저 표시해요. 같은 PDF와 질문을 Q4·Q8에 보내고 날짜, 적용 대상, 예외가 맞는지 대조하세요. 문서 앱이 추출한 입력도 같게 맞춰야 가중치 표현에 따른 차이를 살펴볼 수 있어요.

가능하면 샘플링 설정과 시드도 맞추고 여러 질문에서 반복해요. 잘못된 근거, 빠진 조건, 답하지 못한 항목을 나눠 적고 사람이 다시 확인한 시간을 기록하세요. Q4에서도 필요한 답이 안정적이면 현재 구성으로 시작할 수 있고, 중요한 오류가 Q8에서 반복해서 줄어든다면 추가 메모리를 검토할 근거가 돼요.

가중치 양자화와 KV 캐시¹⁴ 정밀도는 한 번에 하나씩 바꿔요. Q4의 큰 모델과 Q8의 작은 모델을 비교하는 경우에는 모델 구조와 크기까지 달라지므로, 각 구성에서 작업을 끝내는 결과와 시간을 비교하면 돼요. 가장 작은 파일이나 가장 높은 비트보다 내 작업이 안정적으로 끝나는 구성을 고르는 게 목표예요.