CMP 170HX 전력을 낮춰도 속도를 유지할 수 있을까?

실제 요청과 온도를 보면서 전력 제한을 한 단계씩 조정해요.

CMP 170HX를 오래 켜 둘 계획이라면 전력 제한부터 조정해 볼 만해요. GPU¹가 쓸 수 있는 전력의 상한을 낮춰 발열과 전기 사용량을 줄이는 방법이에요. 아래 GLM 네 장 시험에서는 카드당 상한을 165W에서 140W로 낮췄을 때 처리량²은 약 1.4% 줄고, 네 GPU의 소비 전력은 113W 줄었어요.

전력 제한을 바꾸기 전에는 카드가 지원하는 범위와 원래 값을 기록하세요. 팬으로 충분한 바람을 보내면서 같은 요청으로 속도·온도·전력을 비교하면 내 구성에 맞는 상한을 찾기 쉬워요.

실행 조건과 핵심 내용

전력 제한은 GPU가 쓸 수 있는 전력의 상한이라, 낮추면 소비 전력과 처리량이 함께 달라질 수 있어요.
네 장 GLM 시험에서 165W→140W는 단일 사용자 418.6→412.7 tok/s, 네 GPU 합계 650→537W였어요.
설정 전에 지원 범위와 현재 제한을 기록하고, 시험 뒤 그 원래 값으로 복원하세요.

전력 제한은 GPU가 쓸 수 있는 상한이에요

전력 제한(power limit)은 GPU가 순간적으로 사용할 수 있는 전력의 상한을 정해요. 제한을 낮추면 GPU가 더 작은 전력 범위에서 동작하고, 부하가 상한에 닿으면 클럭이나 처리량이 내려갈 수 있습니다. 모델·입력 길이·요청 수에 따라 전력 사용이 달라지므로 실제로 쓸 요청을 고정해 비교하세요.

GPU가 보고하는 전력과 콘센트에서 측정하는 시스템 전체 전력은 측정 범위가 달라요. 아래 표의 네 GPU 전력은 네 장의 합계로, CPU³·메모리·팬·전원 손실을 포함한 벽전력이 아닙니다.

작업대 위 단일 CMP 170HX 카드와 옆에 놓인 확대경 — 설정 전 GPU에서 읽은 값과 실제 측정 위치를 구분해요.

네 장 GLM 시험에서 전력과 처리량을 함께 봐요

공개 GLM-5.3-Flash 시험은 CMP 170HX 네 장을 Tensor Parallel⁴ 4로 묶고 카드별 전력 제한을 바꿨어요. 단일 사용자 열은 구조화된 요청 한 개의 출력 속도, 8 사용자 열은 여덟 요청의 합산 처리량입니다. 아래 표는 단일 요청·동시 요청·네 GPU 전력 합계를 나눠 보여 줍니다.

좌우로 밀어 표 전체를 비교하세요.

GLM-5.3-Flash TP4 · 카드별 제한, 처리량, 네 GPU 소비 전력
카드당 제한	단일 사용자	8명 합산	네 GPU 합계
165 W	418.6 tok/s	822.4 tok/s	650 W
150 W	418.0 tok/s	816.5 tok/s	582 W
140 W	412.7 tok/s	814.2 tok/s	537 W
130 W	394.9 tok/s	785.9 tok/s	517 W
120 W	374.4 tok/s	756.5 tok/s	476 W
110 W	340.1 tok/s	706.8 tok/s	436 W
100 W	291.9 tok/s	627.4 tok/s	398 W

측정 조건: GLM-5.3-Flash TP4, CMP 170HX 네 장, 모든 카드 HBM 1,728MHz, 전력 제한 실시간 적용. GPU 전력은 네 장 합계이며 벽전력이 아닙니다. PixelML 원본 기록

165W에서 140W로 카드당 상한을 낮추면 네 GPU 합계는 650W에서 537W로 113W 줄었고, 단일 사용자 속도는 418.6에서 412.7 tok/s로 약 1.4% 낮아졌어요. 8명 합산은 822.4에서 814.2 tok/s로 약 1% 낮아졌습니다. 이 네 장 GLM 구성에서 두 사용 조건은 모두 비슷한 처리량을 보였지만, 한 사용자 값과 여덟 사용자 값은 서로 바꿔 쓸 수 없습니다.

Qwen 180W 실행과 250W 중단은 별도 조건이에요

별도 Qwen3.8-27B 단일 카드 시험은 CMP 170HX 64GiB, 74 SM, HBM 1728MHz, PCIe Gen2 x16, 강제 공랭에서 180W로 완료했어요. 연구자는 250W 설정의 시험을 시작했지만 1분 안에 메모리 온도가 80°C에 도달하자 중단했습니다. 따라서 180W는 완료된 시험 조건이고 80°C는 250W 시험에서 연구자가 멈춘 기준이에요. 이 온도를 제조사의 보편 최대치로 적용하면 안 됩니다.

이 결과는 네 장 GLM 표와 모델·카드 수·요청·냉각이 달라 직접 비교할 수 없어요. 연구자는 두 시험을 서로 다른 공개 실행 기록에 남겼습니다. Qwen 단일 카드 시험 조건과 로그

CMP 170HX 카드 옆 모니터에 비어 있는 창이 있고 기록 도구가 놓여 있다 — 원래 전력 제한과 지원 범위를 먼저 기록하세요.

현재 값을 기록한 뒤 한 단계씩 바꿔요

Linux에서 nvidia-smi -q -d POWER,TEMPERATURE,CLOCK을 실행해 출력 내용을 저장하세요. 카드별 현재 제한, 지원되는 최소·최대 범위, 온도와 클럭을 먼저 기록합니다. 카드가 보고하는 범위를 확인하기 전에는 임의의 -pl 값을 적용하지 마세요. CMP 170HX는 패시브 방열판을 사용하므로 강한 강제 공랭이 작동하는지도 함께 확인해야 해요.

180W가 카드 0의 지원 범위에 있을 때에만 예시 설정을 적용하세요. 아래 명령은 카드 0만 바꿉니다. 실행 후 같은 요청을 몇 차례 반복하면서 TTFT⁵, 출력 tok/s, 전력, 메모리 온도를 기록하고, 온도가 계속 오르거나 오류가 나면 부하를 멈추세요.

설정 전에 적은 카드 0의 원래 제한으로 되돌리려면 OLD_LIMIT_W 자리에 그 숫자를 넣어 복원 명령을 실행하세요. 예를 들어 메모해 둔 값이 165W일 때는 자리표시자를 165로 바꾸면 됩니다. 시험 결과를 저장한 뒤 복원 상태를 다시 읽어 기록한 값과 맞는지 확인하세요.

현재 상태 확인

nvidia-smi -q -d POWER,TEMPERATURE,CLOCK

현재 값과 카드가 지원하는 범위를 기록하세요.

지원 범위를 확인한 뒤 카드 0 제한 변경

sudo nvidia-smi -i 0 -pl 180

180W가 카드 0의 지원 범위 안에 있을 때만 사용하세요.

기록한 원래 값으로 복원

sudo nvidia-smi -i 0 -pl OLD_LIMIT_W

OLD_LIMIT_W를 시험 전에 기록한 카드 0의 실제 W 값으로 바꾸세요.

강제 공랭 팬과 표시가 없는 계측기 근처에 설치된 두 CMP 170HX 카드 — 패시브 방열판 위로 강한 바람을 보내고 온도를 확인하세요.

GPU 전력 차이를 실제 전기 사용량으로 바꿔요

같은 측정 지점에서 전력 차이가 100W이고 하루 8시간씩 30일 사용한다고 가정하면, 100÷1000×8×30=24kWh예요. 이는 계산 예시이며 벽전력을 잰 CMP 170HX 측정값이 아닙니다. GPU 전력 값에 시스템 전체 전력과 같은 경계를 적용하지 마세요.

전기 요금을 계산할 때는 시스템 전체 전력을 콘센트에서 측정하고 실제 사용 시간과 요금제를 사이트 전기요금 도구에 입력하세요. 평소 필요한 속도와 온도를 만족하는 제한만 사용하세요.

용어 각주

GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기
처리량 — 일정 시간 동안 처리하거나 생성한 작업량입니다. 토큰/초, 요청/초처럼 단위를 함께 확인해야 비교할 수 있습니다.
본문으로 돌아가기
CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기
텐서 병렬 — 모델 층 안의 행렬과 연산을 여러 장치로 분할해 함께 계산하는 방식입니다. 부분 결과를 모으기 위해 장치 간 통신이 필요합니다.
본문으로 돌아가기
첫 토큰 지연 — 요청을 보낸 뒤 첫 출력 토큰이 도착하기까지 걸린 시간입니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: CMP 170HX를 오래 켜 둘 계획이라면 전력 제한부터 조정해 볼 만해요. GPU가 쓸 수 있는 전력의 상한을 낮춰 발열과 전기 사용량을 줄이는 방법이에요. 아래 GLM 네 장 시험에서는 카드당 상한을 165W에서 140W로 낮췄을 때 처리량은 약 1.4% 줄고, 네 GPU의 소비 전력은 113W 줄었어요.
선택하지 않는 편이 좋은 경우는 언제인가요?: Linux에서 nvidia-smi -q -d POWER,TEMPERATURE,CLOCK을 실행해 출력 내용을 저장하세요. 카드별 현재 제한, 지원되는 최소·최대 범위, 온도와 클럭을 먼저 기록합니다. 카드가 보고하는 범위를 확인하기 전에는 임의의 -pl 값을 적용하지 마세요. CMP 170HX는 패시브 방열판을 사용하므로 강한 강제 공랭이 작동하는지도 함께 확인해야 해요.