GLM-5.3 Flash의 2·3·4 Spark 실행과 속도 비교

GLM-5.3-Flash는 전체 GLM-5.3 744B와 다른 모델이에요. 이 글은 Flash 모델의 두 rank TensorFold 레시피를 다뤄요. MIA 페이지의 기본 실행은 TensorFold v0.6.0 위에 패치를 얹고, 한 Spark가 rank 하나를 맡아요.

네트워크는 ConnectX-7 포트를 직접 연결하고 RoCE v2를 설정해요. 3대 실험은 삼각형 배선과 rank 순서가 필요하고, 4대는 스위치 또는 링 구성과 별도 tp4 branch 절차를 따라요.

한 요청 열은 응답 하나의 생성 속도예요. 합계 열에는 동시 요청 수를 함께 적었어요. 2·3대는 4건, 4대는 8건을 동시에 처리한 기록이니 공동 서버를 비교할 때 이 요청 수까지 확인하세요.

2대 결과는 1M context, FP8¹ KV cache², 4-bit dense weights, DFlash2와 copy drafts, vision on, GPU³ clock 2,200MHz 제한에서 sparkDash로 측정했어요. 3대도 기본 4 stream, 1M window, FP8 KV, DFlash2+copy drafts를 사용했어요. 요청 수와 설정이 다르니 모델 버전과 함께 비교해요.

각 Spark는 GB10과 128GB 통합 메모리⁴를 사용하고 서버 시작 때 약 110GiB 여유가 필요해요. 두 대 레시피는 각 장비에 Docker와 NVIDIA Container Toolkit을 설치하고, head에서 worker로 키 기반 SSH가 되는지 확인해요. 체크포인트⁵, DFlash2와 컨테이너 이미지를 위한 디스크 공간도 필요해요.

head에서 저장소를 받고 scripts/local.sh.example을 scripts/local.sh로 복사해요. 다음 설정 블록은 파일 편집기로 scripts/local.sh의 같은 항목에 저장하세요. WORKER에는 worker의 관리망 SSH 주소를, FABRIC_PEER에는 필요한 경우 worker의 CX7 주소를 적어요. 저장한 값을 확인한 다음, 실제 SSH 주소로 키 인증을 점검하고 서버를 시작하세요.

git clone https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold.git
cd GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold
cp scripts/local.sh.example scripts/local.sh

WORKER=user@192.0.2.2
FABRIC_PEER=192.0.2.12

grep -nE 'WORKER=|FABRIC_PEER=' scripts/local.sh
# Replace the reserved address with the actual worker SSH target.
ssh-copy-id user@192.0.2.2
ssh -o BatchMode=yes user@192.0.2.2 true

2대 기본 서버는 첫 실행 때 컨테이너·체크포인트·DFlash2를 준비하고 두 rank를 smoke test해요. 성공 로그에 GLM-5.3-Flash-EXL3 is now LIVE! on port 8888이 표시돼요. 3대는 start-tp3.sh, 4대는 tp4 branch의 switchless ring 절차를 써요. 4대는 실험 구성이라 시작 전에 dry run으로 실제 배선과 rank 순서를 확인해요.

./start.sh

curl -fsS http://127.0.0.1:8888/v1/models
curl -fsS http://127.0.0.1:8888/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"GLM-5.3-Flash-EXL3","messages":[{"role":"user","content":"Say READY in one word."}],"max_tokens":8,"temperature":0}'

./start-tp3.sh

git clone --branch tp4 https://github.com/MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold.git ../glm-flash-tp4
cd ../glm-flash-tp4
DRY_RUN=1 ./start-tp4-switchless.sh

./start-tp4-switchless.sh

curl -fsS http://127.0.0.1:8888/v1/models
curl -fsS http://127.0.0.1:8888/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"GLM-5.3-Flash-EXL3","messages":[{"role":"user","content":"Say READY in one word."}],"max_tokens":8,"temperature":0}'

2대에서 4대까지 수치가 늘어나는 흐름은 장비를 늘릴 때 얻는 decode⁶ 개선을 보여줘요. 다만 3대에는 레시피 패치가 추가됐고 4대는 실험 branch라, 전체 정확성 검사가 3대와 같은 범위로 수행되지 않았어요. 4대 수치는 환경에 바로 적용되는 보장값이 아니라 토폴로지와 branch를 고정한 재현 기준으로 봐요.

동시 처리량⁷이 목표라면 합계 tok/s와 요청당 tok/s를 모두 기록해요. 작업자가 한두 명이고 한 응답의 흐름이 중요하면 single 결과와 TTFT⁸가 우선이에요. 요청이 많아도 사용자별 대기가 길어질 수 있으니 자신의 prompt⁹와 응답 길이로 따로 측정해요.