이 글에서 가장 먼저 확인할 것은 무엇인가요?

두 장 레시피는 TensorFold v0.6.5와 EXL3 expert 4-bit checkpoint, 4-bit dense layer, FP8 KV cache를 사용해요. RTX PRO 6000 Blackwell 두 장을 각각 300W로 제한해 측정한 단일 prose decode는 238.3 tok/s, 네 요청 합계는 448.7 tok/s였어요. 네 장 레시피는 카드마다 250W 조건에서 단일 265.9 tok/s, 네 요청 합계 1,063.6 tok/s를 기록했어요. 카드 수와 카드당 전력이 동시에 바뀌기 때문에 두 수치의 비율을 전력 효율이나 유지율로 해석하면 안 돼요.

실행 프로그램과 확장

최종 업데이트 2026-10-30

RTX PRO 6000 두 장으로 GLM-5.3 Flash를? 속도와 전력 제한

2장 300W 구성은 단일 요청 238.3 tok/s, 네 요청 합계 448.7 tok/s였고, 4장 250W 구성은 각각 265.9와 1,063.6 tok/s였어요.

두 장 레시피는 TensorFold v0.6.5와 EXL3 expert 4-bit checkpoint¹, 4-bit dense layer, FP8² KV cache³를 사용해요. RTX PRO 6000 Blackwell 두 장을 각각 300W로 제한해 측정한 단일 prose decode⁴는 238.3 tok/s, 네 요청 합계는 448.7 tok/s였어요. 네 장 레시피는 카드마다 250W 조건에서 단일 265.9 tok/s, 네 요청 합계 1,063.6 tok/s를 기록했어요. 카드 수와 카드당 전력이 동시에 바뀌기 때문에 두 수치의 비율을 전력 효율이나 유지율로 해석하면 안 돼요.

RTX PRO 6000 Blackwell 두 장으로 GLM-5.3 Flash를 로컬 서버에서 실행하는 레시피예요. 프롬프트⁵를 보내면 답변을 받으며, 아래 공개 기록으로 한 요청의 생성 속도와 여러 요청의 합산 처리량⁶을 비교할 수 있어요. 네 장 구성의 기록도 함께 보되 카드당 전력 제한과 실행 설정은 각 행에 맞춰 읽어요.

모델과 GPU 구성을 먼저 고정해요

이 글은 GLM-5.3-Flash를 RTX PRO 6000 Blackwell에서 실행한 두 개의 Linux 레시피를 비교해요. 한 호스트에 GPU⁷ 두 장 또는 네 장을 구성하고, 각 레시피의 단일 요청 속도와 동시 처리량을 따로 읽어요. 두 장 쪽은 TensorFold v0.6.5 기반이며 두 결과는 서로 다른 전력·실행 조건이에요.

검은 화면의 모니터와 소형 데스크톱, 여러 팬이 보이는 PC 본체 — 단일 응답 속도와 네 요청 합계는 서로 다른 측정값이에요.

요청당 속도와 합계 처리량을 나눠 봐요

두 장 설정은 sparkDash v1.8.9에서 temperature 0, top_p 1, thinking off, 400-token reply로 측정했고, 각 GPU는 300W였어요. prose 한 요청은 238.3 tok/s, 네 요청의 합계는 448.7 tok/s였어요. 같은 표에서 네 요청당 중앙값은 114.9 tok/s라서 합계와 개별 응답 흐름을 다르게 읽어야 해요.

좌우로 밀어 표 전체를 비교하세요.

RTX PRO 구성의 prose decode 비교
구성	GPU 전력	한 요청	네 요청 합계
RTX PRO 6000 2장	300W	238.3 tok/s	448.7 tok/s
RTX PRO 6000 4장	250W	265.9 tok/s	1,063.6 tok/s

네 장 페이지의 prose 결과는 단일 265.9 tok/s, 네 요청 합계 1,063.6 tok/s예요. 네 카드 각각 250W, 다른 TensorFold와 recipe 버전에서 얻은 값이에요. 두 장의 300W와 비교하면 카드당 전력 제한과 카드 수가 모두 바뀌므로 전력이 2배 유지된다는 식의 비율은 계산할 수 없어요.

두 장 레시피를 Linux 호스트에서 시작해요

두 장 레시피는 RTX PRO 6000 Blackwell 96GB 두 장이 같은 Linux x86_64 호스트에 있어야 해요. 각 카드에서 최소 90,000MiB를 비우고 CUDA⁸ peer access를 확인해요. Docker와 NVIDIA Container Toolkit, Bash, Python 3, Git, GNU patch, curl, gzip, flock도 필요해요.

기본 recipe는 비상업용 라이선스의 DFlash2 drafter를 사용해요. 사용 조건이 맞지 않으면 시작 전에 DRAFTER=mtp ./start.sh를 선택할 수 있지만, 이 경로는 한 번에 한 요청만 처리해요. 아래 238.3 tok/s와 4개 동시 처리량은 기본 DFlash2 레시피 결과예요.

공식 Aevonix 저장소의 start.sh는 고정된 TensorFold 커밋과 86개 patch를 빌드하고 checkpoint와 DFlash2를 내려받은 뒤 kernel autotune과 smoke test를 실행해요. GPU를 비운 상태에서 시작하고, 성공하면 포트 8022에 LIVE 안내가 나와요. DRY_RUN=1 ./start.sh는 Docker와 GPU에 손대지 않고 실행 단계를 출력해요.

공식 저장소에서 두 장 recipe 시작

git clone https://github.com/Aevonix/GLM-5.3-Flash-EXL3-2x-RTX-PRO-6000-TensorFold.git
cd GLM-5.3-Flash-EXL3-2x-RTX-PRO-6000-TensorFold
DRY_RUN=1 ./start.sh
./start.sh

두 장 TensorFold 레시피와 실행 명령

코드처럼 보이는 줄이 표시된 큰 모니터와 데스크톱 타워, 노트북이 놓인 책상 — 시작 스크립트는 두 GPU의 상태와 연결을 검사해요.

전력 경고와 첫 오류를 로그에서 확인해요

모델 ID glm-5.3-flash로 API⁹를 호출해 첫 응답을 확인해요. W_POWER가 나오면 GPU 전력 제한이 설정과 맞는지 살펴보고, 비교 기록에는 카드별 전력을 함께 남겨요.

8022 API로 첫 응답 확인

curl -fsS http://127.0.0.1:8022/v1/models
curl -fsS http://127.0.0.1:8022/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"glm-5.3-flash","messages":[{"role":"user","content":"Say READY in one word."}],"temperature":0,"max_tokens":32}'

E_P2P는 두 GPU 사이 CUDA peer access 문제예요. 드라이버, PCIe 토폴로지, ACS와 IOMMU 설정을 확인해요. E_GPU_MEMORY가 나오면 다른 GPU 작업을 멈추고 두 카드 각각 90,000MiB 이상 비었는지 확인해요.

문서와 차트가 보이는 노트북 주변에 쌓인 인쇄물과 펼친 노트 — 전력 제한과 오류 코드를 함께 기록하면 결과를 다시 비교하기 쉬워요.

용어 각주

체크포인트 — 학습된 모델의 가중치 등을 저장한 파일입니다. 같은 모델 계열도 버전이나 용도에 따라 다른 체크포인트를 쓸 수 있습니다.
본문으로 돌아가기
FP8 — 값 하나를 8비트로 표현하는 부동소수점 수치 형식입니다.
본문으로 돌아가기
KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기
토큰 디코드 — 입력과 앞서 만든 답변을 바탕으로 다음 출력 토큰을 차례로 생성하는 단계입니다.
본문으로 돌아가기
프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기
처리량 — 일정 시간 동안 처리하거나 생성한 작업량입니다. 토큰/초, 요청/초처럼 단위를 함께 확인해야 비교할 수 있습니다.
본문으로 돌아가기
GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기
CUDA — NVIDIA GPU에서 범용 계산을 실행하기 위한 소프트웨어 플랫폼입니다.
본문으로 돌아가기
API — 프로그램의 기능을 다른 코드에서 호출하기 위한 약속된 인터페이스입니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: 두 장 레시피는 TensorFold v0.6.5와 EXL3 expert 4-bit checkpoint, 4-bit dense layer, FP8 KV cache를 사용해요. RTX PRO 6000 Blackwell 두 장을 각각 300W로 제한해 측정한 단일 prose decode는 238.3 tok/s, 네 요청 합계는 448.7 tok/s였어요. 네 장 레시피는 카드마다 250W 조건에서 단일 265.9 tok/s, 네 요청 합계 1,063.6 tok/s를 기록했어요. 카드 수와 카드당 전력이 동시에 바뀌기 때문에 두 수치의 비율을 전력 효율이나 유지율로 해석하면 안 돼요.
조건과 출처는 어디서 확인하나요?: 기본 recipe는 비상업용 라이선스의 DFlash2 drafter를 사용해요. 사용 조건이 맞지 않으면 시작 전에 `DRAFTER=mtp ./start.sh`를 선택할 수 있지만, 이 경로는 한 번에 한 요청만 처리해요. 아래 238.3 tok/s와 4개 동시 처리량은 기본 DFlash2 레시피 결과예요.