RTX 3090 BF16 언락: 풀리는 것과 그대로인 것

gpu-unlock은 RTX 3090의 막혀 있던 BF16 연산률을 여는 Linux 커널 모듈이에요. UEFI 앱도, 패치된 NVIDIA 드라이버도 아니고, 드라이버가 카드를 바인딩하기 전에 속도 셀렉터를 써 두는 방식입니다. 모듈 자체는 GPL-2.0으로 공개됐고, 생성되는 펌웨어는 CMP 언락 참고 자료에서 나옵니다.

저장소 설명에 따르면 SS0에 0x88888888을 써서 BF16 full rate를 선택하고, 4비트 SS1 0x8도 함께 쓰지만 그 효과는 아직 시험되지 않았어요. 카드는 콜드 부팅 상태여야 하고, 웜 리부트는 지원하지 않습니다.

저장소를 유지하는 쪽은 “BF16/F16 연산이 약 40% 빨라진다”고 답했어요. 실제 수치가 공개된 것은 3090 Ti를 시험한 별도 포크입니다. 450W, dense 8192³ GEMM, FP32⁴ 누적, 5회 중앙값 조건에서 BF16는 87.50에서 157.41 TFLOPS로, FP16⁵는 87.46에서 118.39로, TF32는 42.58에서 82.61로 늘었어요.

중요한 것은 이 표가 3090 Ti의 값이고, 시험 환경도 Ubuntu 커널 7.0.0-38과 수정된 드라이버 610.43.02, 별도 initramfs 훅이었다는 점이에요. 3090에서도 같은 방향의 변화가 있었다는 보고는 있지만, 3090의 GEMM 표는 아직 공개되지 않았습니다.

이 언락은 연산 경로만 건드려요. RTX 3090의 24GB GDDR6X와 936GB/s 대역폭, 전력 상한은 그대로입니다. 48GB 개조처럼 메모리 칩을 바꾸는 작업과 전혀 다르고, 큰 모델을 더 많이 올릴 수 있게 되는 것도 아닙니다.

토큰⁶을 하나씩 생성하는 디코드 단계는 메모리에서 가중치를 읽는 속도에 묶여 있어요. 그래서 BF16 연산률이 올라가도 한 요청의 tok/s가 같은 비율로 오르지는 않습니다.

저장소가 확인한 것은 CachyOS 7.2.8-1 커널, NVIDIA 615.71.09, PCI 주소 0000:21:00.0의 RTX 3090 한 대예요. 같은 기기의 다른 카드는 개조하지 않은 대조군으로 썼습니다. 같은 GA102라도 제품 ID가 다르면 모듈이 거부하므로, 적용 대상은 3090과 별도 포크가 다루는 3090 Ti로 좁혀집니다.

6.15 이하 커널에서는 전원 상태가 드라이버 로드 전에 올라오지 않아 언락이 실패한다는 보고가 있어요. 저장소에는 이를 보완하는 패치가 이슈로 올라와 있습니다. 3090 Ti는 별도 포크에서만 지원되고, 다른 GA102 제품 ID는 거부됩니다.

모듈은 커널 명령줄에 gpu_unlock.targets=를 넣어야 동작해요. 예를 들어 gpu_unlock.targets=0000:21:00.0처럼 PCI 주소를 지정하거나 all을 씁니다. initramfs에서 nvidia보다 먼저 로드되도록 배치하고, 전원을 완전히 끈 뒤 켜야 합니다.

되돌리려면 커널 명령줄에서 옵션을 지우고 패키지를 제거하면 돼요. 펌웨어가 멈추지 않는 경우 모듈은 DMA 버퍼를 다음 전원 차단까지 유지하므로, 다시 시도하기 전에 반드시 전원을 끄세요. 화면이 나오지 않으면 부트로더 편집 화면에서 옵션을 지우고 부팅합니다.

프리필⁷, 동시 요청, LoRA⁸ 파인튜닝처럼 행렬 연산이 병목인 작업을 3090으로 돌리는 사람에게 의미가 있어요. 반대로 한 요청씩 짧게 답을 받는 용도라면 기대할 이득이 작습니다. 업무용 장비가 아닌 시험용 PC에서, 기준선을 기록한 뒤 시도하세요.

시험할 때는 전력 상한과 모델을 고정하고 프리필 시간과 동시 요청 처리량⁹을 함께 기록하세요. 행렬 연산만 따로 보려면 GEMM을, 실제 체감을 보려면 llama-bench를 쓰면 됩니다.