구매와 비용
RTX 3090이 있는데, 로컬 AI 때문에 그래픽카드를 바꿔야 할까
새 그래픽카드의 속도표를 보면 지금 카드가 갑자기 낡아 보입니다. 하지만 이미 가진 장비의 선택 기준은 처음 사는 사람과 다릅니다. 남에게 가성비가 좋은 제품을 찾는 것이 아니라, 내가 추가로 낼 돈만큼 불편이 줄어드는지를 따져야 합니다.
GPU를 사기 전에 GPU 사용부터 확인합니다
답변이 느리면 카드 성능부터 의심하게 됩니다. 그러나 모델 일부가 CPU로 넘어갔거나 앱이 기대한 가속 경로를 쓰지 않는 상태일 수도 있습니다. Ollama에서는 모델을 실행한 뒤 ollama ps로 PROCESSOR 항목을 확인할 수 있습니다. CPU와 GPU가 나뉘어 표시된다면 단순한 카드 간 속도표와 같은 조건이 아닙니다. 다른 앱이 VRAM을 차지하는지도 확인하세요. 새 카드를 살지 고민하기 전에 짧은 입력과 작은 모델에서 정상적으로 GPU를 쓰는지 기준을 잡아야 합니다. 이 확인만으로 카드 교체와 설정 수정 사이의 선택이 달라질 수 있습니다.
느린 이유를 한 문장으로 적습니다
코드를 한 줄씩 받을 때 답답한지, 긴 문서를 넣고 첫 글자가 나올 때까지 기다리는지 적어보세요. 두 불편은 같은 토큰 속도로 설명되지 않습니다. 지금 장비가 충분하다고 느끼는 작업도 하나 남겨두면 좋습니다. 교체를 검토할 때는 잘되던 일보다 해결하고 싶은 일을 기준으로 비교해야 하기 때문입니다. 동일 모델의 같은 양자화로 입력 길이를 맞추고, 프리필을 포함한 비교와 생성만 보는 비교를 번갈아 보세요. 한 작업에서 빠른 카드가 모든 작업에서 같은 비율로 빠르다고 생각하면 구매 후 기대가 어긋날 수 있습니다.
VRAM이 더 필요하다면 문제는 달라집니다
현재 카드에 들어가는 모델은 잘 쓰고 있지만 꼭 써야 할 다른 모델이 안 들어간다면, 필요한 것은 같은 용량에서의 속도 향상만은 아닙니다. 원하는 파일의 크기와 문맥 여유를 먼저 정해야 합니다. 반대로 그 모델을 단지 새롭다는 이유로 골랐다면 작은 대안으로 실제 결과를 확인해볼 가치가 있습니다. 더 큰 모델이 내 작업에서 개선을 주는지와 더 큰 장비가 그 모델을 담는지는 별개의 질문입니다. 둘을 순서대로 확인하면 메모리는 늘었지만 정작 평소 답변에는 만족하지 못하는 구매를 피하는 데 도움이 됩니다.
중고 처분가는 확정된 할인액이 아닙니다
새 카드 가격에서 인터넷에 올라온 중고 호가를 빼면 교체가 저렴해 보이기도 합니다. 하지만 호가와 실제로 받을 금액은 다르고 판매까지 시간이 걸릴 수 있습니다. 전원 공급 장치, 케이스 공간, 필요한 케이블과 냉각 조건도 함께 확인해야 합니다. 부품만 교체하는 경우와 완제품을 다시 사는 경우의 비용을 섞지 마세요. 기존 카드를 당장 처분하지 못해도 감당할 수 있는 총지출을 적고, 처분 금액은 따로 두는 편이 안전합니다. 우리 사이트의 TCO 역시 실제로 고른 구성의 가격을 넣어야 의미 있는 비교가 됩니다.
이번에는 안 바꾸겠다는 결론도 남깁니다
매일 하는 질문이 이미 잘 끝나고, 기다리는 동안 다른 일을 할 수 있다면 개선된 숫자만으로 구매를 서두를 이유는 적습니다. 대신 어떤 일이 생기면 바꿀지 조건을 적어두세요. 필요한 모델이 안 들어가거나 반복 작업의 대기 때문에 일정이 밀리는 순간처럼 구체적인 조건이면 충분합니다. 비교 화면에서 마음에 드는 새 장비를 찾더라도 지금 장비를 왼쪽에 남겨두고 보세요. 구매 판단의 기준점이 사라지지 않습니다. 예측 속도는 차이의 방향을 살펴보는 자료로 쓰고, 큰 지출 전에는 같은 실행 조건의 재현 가능한 기록을 추가로 확인하는 편이 좋습니다.