KV 캐시 메모리 줄이기: vLLM FP8 설정과 답변 확인

모델은 질문을 읽는 프리필⁴ 단계에서 토큰 사이의 관계를 계산해요. 답변을 한 토큰씩 생성할 때는 앞선 토큰을 다시 참고하죠. KV 캐시에 저장된 key와 value를 사용하면 앞선 문맥의 상태를 처음부터 만들지 않고 다음 계산을 이어갈 수 있어요.

함수를 읽고 설명을 만든 뒤 그 설명을 바탕으로 테스트를 요청하면, 다음 요청에는 원래 코드와 이전 답변이 함께 들어갈 수 있어요. 새 질문과 출력도 문맥에 추가되므로 모델 파일이 그대로여도 캐시 사용량은 달라져요. 앱이 오래된 메시지를 제외하거나 문맥을 다시 구성하는 방식도 영향을 줘요.

사용자가 한 줄만 질문해도 앱이 코드 파일 전체나 긴 PDF를 함께 보내면 입력 토큰은 많아져요. 앱의 토큰 표시나 서버 로그에서 실제 입력 길이를 확인하세요. 별도 요청이 동시에 실행되면 요청별 상태도 필요하므로, 혼자 대화할 때와 여러 작업을 겹칠 때를 나눠 시험해요.

Q4나 NVFP4⁵는 모델 가중치를 저장하는 표현이에요. KV 캐시는 실행 중 만들어지는 상태여서 별도 정밀도를 사용해요. 지원되는 실행기에서는 캐시를 8비트나 4비트로 저장해 긴 문맥에 필요한 공간을 줄일 수 있어요.

캐시 변환에는 계산이 추가되고, 표현할 수 있는 값의 정밀도도 달라져요. 메모리 절약, 생성 속도와 답변의 정확성을 각각 비교해야 하는 이유예요. 짧은 문맥에서는 변환 비용이 이득을 상쇄할 수 있고, 프리필 성능도 head dimension과 backend에 영향을 받아요.

아래 예시는 gpt-oss-20b를 지원하는 vLLM 환경에서 실행해요. 모델을 적재하고 캐시를 만들 메모리 여유가 있어야 해요. GPU⁶ 수와 메모리 이용률은 임의로 고정하지 않고, 설치한 backend의 모델 지원과 로딩 로그를 먼저 확인해요.

첫 명령을 실행하고 서버가 요청을 받을 준비가 되면 새 터미널에서 curl 명령을 보내요. first_item 함수는 목록의 첫 원소를 읽으므로, 빈 목록에서는 인덱스 오류가 생겨요. 답변이 이 원인을 설명하고 빈 목록 테스트를 제안하는지 확인해 기준 결과를 저장해요.

기준 요청이 성공하면 서버를 종료하고 --kv-cache-dtype fp8을 추가한 명령으로 다시 시작해요. 모델, 문맥, 가중치 형식과 동시 요청 수는 유지해요. 로그에서 FP8 KV와 실제 attention⁷ backend가 선택됐는지 확인한 뒤 위의 같은 curl 요청을 보내요.

GPU・attention backend・모델 구조가 FP8 KV를 지원해야 해요. 공식 Hopper·Blackwell 평가 조건은 해당 경로의 자료로 읽고, 다른 GPU에서는 설치 버전의 지원표를 확인해요. GPT-OSS처럼 global attention과 sliding-window 계층이 섞이면 짧은 창의 계층을 기본 정밀도로 남기는 설정도 비교할 수 있어요.

두 번째 명령의 --kv-cache-dtype-skip-layers sliding_window가 그 선택지예요. 해당 옵션을 지원하는 빌드에서 모든 계층 FP8과 skip-layer 설정을 각각 실행하고 같은 함수 질문을 보내요.

모델 로딩을 마친 뒤 준비 요청을 제외하고 반복 측정해요. TTFT⁸, 토큰 간 지연, 전체 완료 시간과 peak GPU memory를 남기고, 우선 요청 한 개끼리 비교해요. 긴 문맥이나 동시 요청이 목적이라면 그다음 입력 길이 또는 요청 수를 하나씩 늘려요. 처음 읽는 입력과 prefix를 재사용하는 입력도 나눠 기록해요.

답변에서는 빈 목록의 오류 설명과 제안한 테스트를 실제 코드와 대조해요. 여러 함수 질문을 미리 정해 같은 방식으로 비교하면 특정 질문 하나의 우연을 줄일 수 있어요. 속도 차이가 작아도 긴 입력을 메모리 안에 담거나 더 많은 요청을 안정적으로 마쳤다면, 목표에 맞는 개선이에요.

캐시 상한을 두거나 오래된 상태를 지우는 설정을 사용한다면, 대화 처음에 준 정보를 나중에도 답할 수 있는지 시험해요. 새 대화에서는 맞고 이어진 대화에서만 틀리면 실제 전달된 메시지와 상태 유지 설정을 대조하세요. 앱 전체 메모리 그래프는 부족해진 시점을 찾는 데 쓰고, KV 캐시 자체의 사용량은 서버가 제공하는 지표로 확인해요.

dtype나 backend 오류로 서버가 시작되지 않으면 FP8 옵션을 제거하고 기준 명령을 다시 실행해요. 기본 설정은 되고 FP8만 실패한다면 캐시 지원 조건을 확인하세요. 기본 서버도 실패하면 모델 지원, 드라이버와 설치 버전을 먼저 점검해요.

긴 요청 중 메모리가 부족하면 입력 문맥이나 동시 요청 수를 하나씩 줄여요. 답변에서 코드 조건을 자꾸 놓친다면 기본 정밀도로 돌아가 같은 질문을 비교해요. 원하는 문맥과 요청 수에서 정확성과 안정성을 유지하는 설정을 최종값으로 남기면 돼요.