3090 언락하면 로컬 LLM이 빨라질까? 프리필·배치·디코드

토큰을 하나씩 만들 때 모델은 매 단계마다 가중치를 메모리에서 읽어요. RTX 3090의 936GB/s 대역폭은 이 읽기를 기다리는 시간을 정하지, BF16 행렬 연산 유닛의 처리량이 속도를 정하지 않습니다. 그래서 언락으로 연산률이 올라도 한 요청의 tok/s는 거의 그대로예요.

사이트에 공개한 3090 측정도 같은 방향이에요. Qwen3.8 27B UD-Q4_K_XL, MTP⁷ n-max 3 조건에서 350W일 때 68.9 tok/s, 250W일 때 51.0 tok/s였어요. 전력 상한을 낮추면 느려지지만, 이는 연산이 아니라 클록과 전력의 문제입니다.

긴 문서를 한 번에 읽는 프리필은 입력 토큰 전체에 대해 행렬 곱을 수행해요. 이 구간은 연산 처리량의 영향을 받습니다. BF16 프리필을 쓰는 런타임⁸이라면 언락 후 첫 토큰까지의 시간이 줄어들 여지가 있어요. 다만 llama.cpp의 양자화⁹ 커널처럼 BF16 행렬 곱을 쓰지 않는 경로에는 영향이 작습니다.

어느 런타임이 BF16 프리필을 쓰는지는 모델과 커널에 따라 달라요. 같은 모델이라도 vLLM과 llama.cpp가 같은 경로를 쓰지 않으니, 프리필 이득을 계산하려면 쓰는 런타임의 커널부터 확인하세요.

여러 요청을 동시에 처리하면 같은 가중치를 여러 번 재사용해 대역폭 부담이 줄고, 연산 비중이 커져요. 이때는 BF16 처리량이 전체 처리량을 좌우할 수 있습니다. vLLM처럼 연속 배칭을 쓰는 서버에서 언락의 효과가 더 크게 나타날 수 있는 이유예요.

반대로 한 사람이 한 번에 한 요청만 보내는 환경에서는 배치가 만들어지지 않아 이 이점이 거의 없어요. 서버 운영자인지, 개인 PC 사용자인지에 따라 기대치가 달라집니다.

LoRA 파인튜닝은 BF16 행렬 곱을 많이 쓰기 때문에 언락의 이득이 이론적으로 가장 큰 작업이에요. 하지만 3090의 24GB VRAM¹⁰이 배치 크기¹¹와 시퀀스 길이를 제한해서, 연산률보다 메모리가 먼저 걸립니다. 큰 배치를 돌리는 사람일수록 효과를 볼 여지가 있어요.

이미지 생성은 모델·해상도·스텝 수에 따라 연산과 메모리 비중이 달라져요. FP16¹² 행렬 곱이 많은 구간에서는 도움이 될 수 있지만, 고해상도에서는 VRAM과 대역폭이 먼저 걸립니다. 이미지 생성의 전후 차이는 모델·해상도·스텝 수 조합마다 달라지므로, 쓰는 설정에서 그대로 재는 편이 빠릅니다.

먼저 같은 모델·양자화·문맥 길이·전력 상한에서 기준선을 재세요. 그다음 언락 후 콜드 부팅으로 같은 조건을 반복합니다. 디코드¹³만 재면 차이가 거의 보이지 않으니, 프리필 시간과 동시 요청 처리량을 함께 기록해야 해요.

언락은 이미 가진 3090의 연산 여유를 확인하는 실험이에요. 새로 카드를 사는 이유로는 약하고, 디코드가 목적이라면 5090이나 48GB 개조처럼 다른 선택지를 봐야 합니다. 3090의 강점은 24GB 용량과 가격이지 연산률이 아니에요.

판단은 측정에서 나와요. 같은 카드에서 전후를 재고 나서 결정하세요.