LLM 메모리 대역폭 vs 연산 성능: 속도 병목 찾는 법

LLM은 모델에 저장된 가중치를 사용해 다음 토큰을 계산해요. 한 사람의 답변을 생성할 때는 앞 토큰이 정해진 뒤 그다음 토큰을 만들죠. 이 과정에서 필요한 가중치를 메모리에서 반복해서 가져와요. 계산 장치가 데이터를 기다리는 상황이라면, 연산 유닛을 더 늘려도 그 기다림부터 줄여야 해요.

메모리 용량과 대역폭은 여기서 역할이 달라요. 용량이 충분해야 모델과 KV 캐시⁷를 올릴 수 있고, 대역폭이 넓어야 계산에 필요한 데이터를 빠르게 공급할 수 있어요. 모델이 들어간 뒤 답변이 느리다면, 용량을 더 늘리는 것보다 실제 디코드 속도와 데이터 공급 경로를 살펴보는 편이 도움이 돼요.

한 토큰의 계산에 필요한 가중치가 20GB이고, 실제 전송 속도가 400GB/s라고 가정해볼게요. 데이터를 읽는 시간은 20÷400=0.05초예요. 이 읽기를 1초 동안 반복하면 1÷0.05=20회가 돼요. 읽을 양이 줄거나 전송 속도가 높아지면 같은 데이터를 기다리는 시간도 줄어드는 원리예요.

이 예시는 가중치 읽기만 계산한 값이에요. 실제 tok/s에는 연산, KV 캐시 접근, 실행 프로그램⁸의 처리 비용도 들어가요. 제품 사양의 최고 대역폭 대신 실제 전송 속도를 가정했고, MoE⁹처럼 일부 가중치를 선택하는 구조에서는 읽는 양도 달라져요. 계산식은 대역폭의 역할을 이해하는 데 쓰고, 장비 속도는 같은 모델을 실행한 결과로 비교하면 돼요.

문서를 보내면 모델은 답을 만들기 전에 입력 토큰을 처리해요. 프리필에서는 이미 주어진 토큰을 묶어 계산할 수 있어, 연산 장치를 넓게 활용할 여지가 커요. 긴 계약서를 읽고 첫 답이 나올 때까지 오래 걸린다면 프리필 처리량¹⁰과 첫 토큰 지연을 함께 비교해보세요.

여러 사람의 요청을 묶는 배치 처리에서도 같은 가중치를 여러 계산에 활용할 수 있어요. 서버가 초당 처리하는 전체 토큰 수가 늘어나는 동안 각 요청은 대기열에서 기다릴 수 있죠. 개인 채팅에서는 한 답변의 속도를, 공동 서버에서는 개별 지연과 전체 처리량을 함께 확인해야 사용 목적에 맞는 장비를 고를 수 있어요.

양자화¹¹는 가중치를 더 적은 비트로 저장해 읽을 양을 줄일 수 있어요. 이 데이터를 효율적으로 계산하는 커널이 지원되면 용량과 속도 양쪽에서 도움이 되죠. 같은 원본 모델이라도 포맷과 실행 프로그램을 함께 기록해야, 어떤 조합에서 시간이 줄었는지 다시 확인할 수 있어요.

대화가 길어지면 이전 문맥을 기억하는 KV 캐시도 커져요. 답을 만들 때 이 캐시를 참고하는 부담이 늘 수 있어, 짧은 질문에서 얻은 속도와 긴 문서의 속도가 달라져요. 문서 입력 길이를 고정하고 답변 토큰 수도 함께 기록하면, 입력과 출력이 바뀌어서 생긴 차이를 줄일 수 있어요.

먼저 원하는 모델과 실제 문맥이 메모리에 들어가는지 확인해요. 그다음 같은 문서와 질문으로 첫 토큰까지의 시간, 답변이 이어지는 속도, 완료 시간을 기록하세요. 이 세 가지를 나누면 사양이 높은 장비가 내 작업의 어느 부분을 줄여주는지 판단하기 쉬워요.