RTX 3090이 있는데, 로컬 AI 때문에 그래픽카드를 바꿔야 할까?

Qwen3.8-27B를 내려받을 때는 양자화³로 용량을 줄인 Q4 파일을 먼저 선택하세요. Q5보다 약 3.3GB 작아서, 문서를 읽고 대화를 이어갈 공간을 더 남길 수 있어요.

Qwen3.8-27B 파일 목록 · Unsloth

24GB에서 모델 파일을 제외한 공간은 실행 프로그램⁴과 KV 캐시⁵가 사용해요. 문서가 길어지고 대화가 쌓이면 KV 캐시도 커져요. Q4로 짧은 문서는 잘 요약하는데 긴 문서에서 멈춘다면 실행 프로그램과 KV 캐시가 쓸 공간이 부족한지 살펴보세요.

Q5로 바꾸기 전에는 같은 문서에 같은 질문을 해보세요. 요약에서 빠진 중요한 내용이 있는지, 날짜와 숫자가 맞는지, 후속 질문에 원문을 근거로 답하는지 비교하면 돼요. Q4로도 필요한 결과를 얻었다면 더 큰 파일로 바꾸지 않아도 돼요.

Q8 파일은 크기만 약 29GB여서 3090 한 장의 VRAM⁶을 넘어가요. Q8을 GPU에 전부 올려 실행하려면 GPU를 추가하거나 더 큰 VRAM을 가진 카드로 교체해야 해요.

Ollama에서 질문을 보낸 뒤 터미널을 하나 더 열고 아래 명령을 입력하세요.

Ollama 실행 상태 확인

모델 일부가 시스템 RAM⁷에 있으면 CPU⁸에서도 계산하고 GPU와 데이터를 주고받아요. 사용하지 않는 모델이나 앱을 닫은 뒤 GPU에 올라간 비중이 늘면서 답변도 빨라졌다면 새 카드 없이 기다림을 줄인 셈이에요.

긴 문서에서만 멈춘다면 문맥 길이 설정도 확인하세요. 읽힐 문서보다 훨씬 큰 값으로 잡았다면 줄여볼 수 있어요. 문서와 후속 질문에 필요한 길이는 남겨두세요. 설정을 조정한 뒤에도 필요한 문서를 넣지 못할 때 GPU 추가나 교체를 검토하면 돼요.

3090에서 Qwen3.8-27B Q4_K_M을 실행할 때 사이트 계산기의 예상 생성 속도는 42.3~46.9 tok/s예요. 500토큰을 만드는 데 약 11~12초가 걸리고 문서를 읽는 시간은 여기에 더해져요.

입력과 출력 길이를 맞추면 교체 후 줄어드는 기다림을 비교하기 쉬워요. 아래는 입력 4,096토큰을 읽은 뒤 500토큰을 답하는 경우예요. 모델은 미리 불러온 상태이고 요청은 한 번에 하나씩 보내며 저장된 프롬프트⁹ 계산을 재사용하지 않는 조건이에요.

계산기 예상 · 입력 4,096토큰 / 출력 500토큰 · 완료 시간 = 입력 처리 시간 + 나머지 499토큰 생성 시간. 3090 설정 · 5090 설정

대표 속도로 계산하면 약 17초와 3초예요. 다음 질문을 보내기 위해 답변이 끝날 때까지 기다리는 일을 하루 30번 한다고 가정하면, 한 번에 약 14초씩 하루 약 7분의 차이가 생겨요. 요약을 받아 놓고 다른 일을 하는 사람에게는 작은 차이지만 답을 받아 곧바로 문서를 고치는 사람에게는 자주 체감될 수 있어요.

긴 문서를 보낸 뒤 첫 글자가 늦게 나오면 입력을 읽는 프리필¹⁰ 속도를 비교하세요. 답은 빨리 시작하지만 문장이 천천히 이어진다면 답변 토큰을 만드는 디코드¹¹ 속도를 비교하면 돼요. 문서 요약과 후속 질문을 빠르게 마치려면 첫 답까지의 대기와 전체 답변이 끝나는 시간을 함께 비교해야 해요. 프리필과 디코드

5090으로 교체할 때는 카드 가격과 함께 실행 환경을 옮기는 일도 생각해야 해요. 위 비교에 사용한 빠른 구성은 vLLM에서 NVFP4¹² 모델과 MTP-2를 함께 실행하는 방식이에요. 현재 Ollama에서 쓰는 GGUF¹³ 파일 대신 vLLM의 NVFP4·MTP¹⁴ 구성에 맞는 모델 파일을 준비해야 해요.

RTX 5090 공개 실행 기록

공개 실측 · 2026-09-05 · 출력 예산 256토큰 · vLLM 0.28.0 / NVFP4 / FP8¹⁵ KV 캐시 / MTP-2 / 드라이버 610.43.02 · GPU 전용 사용 · 동시 요청 1개 · 프롬프트 캐시 미사용 · 조건별 3회 중앙값. 벤치마크와 실행 구성

8천여 토큰에서는 약 2초 뒤 답변이 끝났지만 3만여 토큰에서는 첫 답을 시작하는 데 약 3.6초가 걸렸어요. 긴 문서를 자주 읽힌다면 자신이 쓰는 길이에서도 기다림이 줄어드는지 확인해야 해요.

5090은 VRAM이 32GB여서 3090보다 8GB 많아요. Q8 파일도 용량만 보고 선택하기보다 모델을 올린 뒤 문서와 대화에 쓸 공간까지 남는지 확인하세요. 빠른 NVFP4·MTP 구성을 쓰려는 사람이라면 먼저 공개된 설치 절차를 읽고 자신의 운영체제에서 준비할 일을 정리하는 편이 좋아요. 5090 사양 · 입력 길이를 바꾸며 두 장비 비교

기존 3090을 남겨 두고 다른 NVIDIA GPU를 추가하면 llama.cpp에서 모델을 두 카드에 나눠 올릴 수 있어요. 16GB GPU를 추가하면 물리 VRAM 합계는 40GB, 24GB GPU를 추가하면 48GB가 돼요. 약 29GB인 Q8 파일을 나눠 올릴 후보가 생기는 거죠.

모델을 나눠 실행할 때는 각 카드에 프로그램과 KV 캐시가 쓸 공간을 남겨야 해요. 카드별 여유 공간에 맞춰 모델을 배분하려면 llama.cpp의 --split-mode layer와 --tensor-split을 사용해요. 연결 방식과 분할 비율도 답변 속도에 영향을 줘요. llama.cpp GPU 분할 설정

GPU를 추가하기 전에는 슬롯·냉각·전원을 확인하세요.

1. 메인보드에 사용할 PCIe 슬롯이 남아 있는지, 두 번째 슬롯이 몇 배속으로 연결되는지 확인해요.

2. 두 카드가 케이스에 들어가고 서로의 팬을 막지 않는지 확인해요.

3. 두 카드와 CPU에 전원을 공급할 파워 용량과 전원 커넥터가 있는지 확인해요.

모델 파일이 커서 실행하지 못하는 문제에는 GPU 추가가 도움이 돼요. 반면 Q4가 이미 GPU에 전부 올라가 있고 답변을 더 빨리 받고 싶은 경우라면 빠른 단일 GPU를 먼저 비교하세요. 추가 GPU를 살 때는 사용할 앱이 두 카드를 함께 쓰도록 설정할 수 있는지도 확인해야 해요.

기존 3090 PC를 재사용하고 추가 부품·설치비가 0원인 경우를 비교해볼게요. GPU 구입비는 확인된 신품 상품 중 가장 낮은 표시 가격이며, 배송비와 개인별 할인은 제외했어요. 두 장비의 가격 확인일은 2026-10-12이에요.

추가는 RTX 5060 Ti 16GB 한 장을 더하는 경우, 교체는 RTX 5090 32GB로 바꾸는 경우예요.

카드 구입비만 놓으면 두 선택의 차이는 7,995,080원이에요. 40GB에 나눠 올려 실행하는 것이 목적이라면 GPU 추가를 검토할 이유가 충분해요. 지금 모델의 답변을 더 빨리 받고 싶다면 용량보다 앞에서 비교한 대기 시간의 차이를 보세요.

최종 견적에는 새 GPU 가격 + 실제로 바꿀 부품·설치비를 넣으세요. GPU를 교체하면서 3090을 팔면 거래가 끝난 판매액을 여기서 빼면 돼요. GPU 추가에는 슬롯과 냉각 때문에 필요한 부품을 더하고 교체에는 새 카드의 크기와 전원 요구량에 맞춰 바꿀 부품만 더해요.

전원 공급 장치도 확인해야 해요. 3090의 정격 GPU 전력은 350W, 5060 Ti는 180W, 5090 Founders Edition은 575W예요. 3090과 5060 Ti의 정격 합계는 530W이고 3090 두 장이면 700W예요. 파워를 고를 때는 CPU와 다른 부품까지 더하고 구매할 제조사 카드의 전원 요구량을 확인하세요. 3090 사양 · 5060 Ti 사양 · 5090 사양

전기 사용량과 팬 소음이 부담스럽다면 전력 제한도 시도해볼 만해요. GPU가 사용할 전력의 상한을 낮추는 설정이에요. RTX 3090에서 Qwen3.8 27B를 실행한 공개 비교에서는 350W에서 300W로 낮췄을 때 생성 속도의 약 95%를 유지했고, 측정된 GPU 전력은 약 14% 줄었어요. 모델·실행 설정과 전력별 결과는 전력 제한 가이드에서 함께 볼 수 있어요.

전력 제한을 쓰면 카드의 VRAM은 그대로 활용하면서 발열과 소비전력을 줄일 수 있어요. 답변이 얼마나 늦어지는지도 함께 비교해 원하는 상한을 정하세요. 파워 용량과 케이블은 카드의 기본 전원 요구량에 맞춰 준비해야 해요. 재부팅이나 설정 해제 후에는 원래 전력으로 돌아갈 수 있기 때문이에요.

장시간 실행할 계획이라면 구입비와 함께 전기요금과 냉방 비용도 계산해보세요. 전력 제한을 적용한 뒤의 실제 사용 전력과 하루 사용 시간을 넣어 유지·추가·교체의 운영비를 비교할 수 있어요. 설정하고 원래대로 되돌리는 방법

먼저 평소 쓰는 문서와 질문으로 답변을 받아보세요. 모델을 한 번 불러온 뒤 같은 작업을 세 번 실행하고 첫 답까지의 대기, 답변 완료 시간, 실제 출력 토큰 수를 적어요. 세 결과를 크기순으로 놓았을 때 가운데 값을 비교하면 돼요.

문서를 빠짐없이 요약하는지와 답변이 내 작업에 도움이 되는지도 함께 판단해야 해요. Q4와 Q5를 비교할 때는 같은 문서를 사용하고 입력 길이·출력 길이·프롬프트 캐시 사용 여부를 기록하세요. 모델을 처음 불러오는 시간은 따로 적어두면 매번 질문할 때의 기다림과 나눠 볼 수 있어요.

실행 시간을 파일로 남기고 싶다면 사이트의 로컬 측정 도구를 사용할 수 있어요. Node.js 20 이상과 모델을 실행 중인 OpenAI 호환 서버가 필요해요. LM Studio 등을 쓰고 있다면 로컬 서버를 켜고 표시된 주소와 모델 이름을 준비하세요.

1. 측정 도구와 설정 파일을 같은 폴더에 저장해요.

2. 설정 파일의 null을 장비·모델·실행 프로그램 정보로 바꿔요. outputTokens는 500으로 바꾸고 문맥 길이는 서버에 설정한 값으로 적어요.

3. 다음 명령으로 설정 파일을 확인한 뒤 측정해요. 예시의 1234와 SERVED_MODEL은 내 서버에 표시된 포트와 모델 이름으로 바꿔주세요.

측정 도구는 정해진 예문으로 준비 실행 1회 뒤 3회를 측정해요. measurement.json에 실행 조건, 실제 입력·출력 토큰 수와 시간을 저장해요. 측정 요청은 내 컴퓨터의 서버로만 보내며 결과를 사이트에 자동 제출하지 않아요. 내 문서로 한 시험과 구분해 기본 응답 속도를 기록할 때 쓰면 돼요.

Q4로 필요한 문서를 요약하고 후속 질문까지 이어갈 수 있다면 3090을 유지하세요. 그다음 질문을 기다리는 시간이 불편하지 않다면 업그레이드 비용을 쓰지 않아도 돼요.

Q8이나 더 큰 모델을 꼭 실행해야 하고 부족한 것이 VRAM이라면 GPU 추가부터 견적을 내보세요. 기존 PC의 슬롯·전원·냉각을 확인하고 사용할 프로그램에서 두 GPU로 나눠 실행할 수 있는지 먼저 준비하는 순서예요.

원하는 모델이 이미 잘 실행되지만 답을 기다리느라 일을 자꾸 멈춘다면 빠른 GPU로 교체할 이유가 있어요. 내 문서 길이에서 줄어드는 대기와 실제 견적을 놓고 판단하세요. 새 카드가 지금 불편한 일을 해결해주는지가 카드의 등급보다 중요해요.