2×3090 NVLink, 추론에서 실제로 얼마나 다른가

RTX 3090은 GA102 기반 NVLink 3.0을 지원해서, 카드 한 쌍이 링크당 112.5Gbit/s를 4개 묶어 총 112.5GB/s 양방향(방향당 56.25GB/s)으로 통신할 수 있어요. PCIe 4.0 x16이 방향당 약 32GB/s인 것과 비교하면 카드 사이 전용 경로가 훨씬 넓습니다.

다만 3090에 NVLink 커넥터가 있다는 것과 브리지가 장착돼 있다는 것은 다른 이야기예요. 정리 문서는 “브리지를 물리적으로 설치해야 하고, 대부분의 소비자 구성에는 없다”고 적고 있어요. 브리지가 없으면 다중 카드 구성은 PCIe로 동작합니다.

2×3090에서 vLLM 텐서 병렬(TP=2)로 같은 모델을 돌린 커뮤니티 측정이 있어요. Devstral Small 2505 Q8_0, 코드 생성 프롬프트³ 50개, 응답 평균 약 1650토큰⁴ 조건에서 NVLink를 켰을 때 85.0 tok/s, 끄고 PCIe로만 돌렸을 때 81.1 tok/s였어요. 차이는 약 5%입니다.

더 눈에 띄는 것은 꼬리 지연이에요. 95백분위 응답 시간이 239.1초 대 277.6초로 NVLink 쪽이 더 안정적이었어요. 평균 처리량⁵보다 긴 요청의 편차가 중요한 용도라면 이 차이가 의미가 있어요. 측정자는 추론만 목적이면 브리지에 돈을 쓰기보다 VRAM⁶이나 카드에 쓰라고 정리했습니다.

2×3090 운영 문서를 보면 기본 듀얼·멀티 카드 경로는 PCIe 전용이고 P2P는 꺼져 있어요. NCCL_P2P_DISABLE=1에 커스텀 올리듀스도 비활성 상태로, 조정 없이 어떤 소비자 구성에서도 안정적으로 동작하는 쪽을 기본으로 잡았습니다.

PCIe에서도 P2P를 켜면 워크로드에 따라 몇 퍼센트에서 20% 정도 더 나올 수 있다는 설명이 있어요. 여기서 강조하는 것은 순서예요. 먼저 기본 PCIe 경로로 정상 동작을 확인하고, 그다음에 토폴로지를 읽고 P2P를 켜서 비교하는 편이 문제를 찾기 쉽습니다.

P2P는 한 가지 질문이 아니라 세 개가 겹쳐 있어요. 첫째는 드라이버가 GPU 사이 직접 접근을 허용했는지, 둘째는 NCCL⁷이 그 경로를 실제 전송에 쓰는지, 셋째는 vLLM의 커스텀 올리듀스 커널이 추가로 켜졌는지입니다. 이 셋을 섞으면 “P2P가 켜진 것 같은데 왜 안 빠르지”를 설명할 수 없게 돼요.

vLLM 쪽 게이트는 NVLink라는 이름으로 검사하지만, 그 검사는 비싼 조건을 걸러 내기 위한 사전 필터예요. 그래서 3장 이상 PCIe 구성에서는 완전 연결 NVLink 메시가 아니라는 이유로 커스텀 올리듀스가 설계상 꺼집니다. 오설정이 아니라 의도된 동작이고, 그 구성에서도 P2P 이득은 NCCL 계층으로 흐를 수 있어요.

vLLM에서 텐서 병렬은 가중치를 카드 수만큼 나눠 담는 방식이에요. 카드마다 확보하는 KV 캐시⁸ 공간이 늘어나는 대신 동기화 오버헤드가 커질 수 있다고 vLLM 문서가 설명합니다. 문맥 길이와 동시 요청 수를 함께 조정해야 실제 이득이 나와요.

청크 프리필⁹을 켜면 연산 병목인 프리필과 대역폭 병목인 디코드¹⁰를 나눠 섞어 처리해서 두 자원을 함께 씁니다. 전력은 카드마다 따로 걸리니 두 장이면 합계 전력과 케이스 발열도 함께 봐야 해요. 위 차트처럼 3090은 전력 상한이 낮아지면 디코드가 같이 줄어듭니다.

추론이 목적이라면 브리지는 마지막에 볼 항목이에요. 측정에서 얻은 것은 약 5%의 처리량과 더 나은 꼬리 지연이었고, 그보다 큰 차이는 24GB 두 장으로 나눠 담을 수 있는 모델이냐, 한 장에 더 큰 모델을 올리느냐에서 나옵니다. 두 장을 쓸 때는 PCIe 기본 경로로 먼저 정상 동작을 확인하세요.

학습이나 미세조정처럼 카드 사이 통신이 계속 도는 작업은 이야기가 달라요. NVLink의 대역폭 이득이 추론보다 학습에서 더 크게 나타난다는 것이 일반적인 평가이고, 위 측정도 추론에서는 차이가 5%에 그쳤다고 결론 내렸어요. 용도가 추론인지 학습인지 먼저 정하고 결정하세요.