Ling 3.1 Flash를 직접 띄우려면 어떤 서버가 필요할까요?

Ling 3.1 Flash는 텍스트 요청을 받아 답변을 만드는 언어 모델이에요. 코딩·에이전트 작업에 쓰이며 560B 전체 파라미터 중 토큰마다 25B를 활성화하고, 최대 1M 토큰 문맥을 지원해요. 공식 FP8 체크포인트 파일 목록은 약 574GB예요. 모델 카드와 파일 목록

문맥 길이는 모델이 한 번에 처리할 수 있는 입력의 상한이에요. 긴 문서를 넣을수록 KV 캐시⁵와 실행 엔진에도 메모리가 더 필요해요. 먼저 사용할 GPU⁶ 메모리와 문서 길이를 확인하고, 실제 업무에 필요한 만큼 문맥 설정을 정해요.

공식 SGLang 빠른 시작은 H200 8개에 TP8·EP8을, GB300 4개에 TP4·EP4를 배치해요. 모델 파일은 약 574GB이고, 실행할 때는 문맥 길이에 따라 KV 캐시와 런타임⁷ 메모리도 추가로 필요해요. 저장 공간과 GPU 구성을 확인한 뒤 실제 요청 길이에 맞춰 문맥을 정해요. SGLang 실행 안내

텐서 병렬⁸화(TP)는 계산을 GPU 사이에 나누고, 전문가 병렬화(EP)는 MoE 전문가를 여러 GPU에 배치해요. 아래 표에서 두 설정이 공식 서버 구성과 맞는지 확인한 뒤, 실제 입력 길이에 필요한 KV 캐시와 여유 메모리를 더해 판단하세요.

먼저 모델 카드를 따라 SGLang 컨테이너를 내려받으세요. 아래 명령은 8×H200 구성 기준이고, 공식 예제의 0.0.0.0 대신 같은 기기에서만 접속하도록 --host 127.0.0.1을 사용해요. 다른 컴퓨터에서 접속하게 열 때는 내부망 접근 제어와 인증을 함께 설정하세요. 약 574GB의 체크포인트를 반복 다운로드하지 않도록 Hugging Face 캐시를 호스트 저장 공간에 연결합니다. 캐시 위치 안내

docker pull lmsysorg/sglang:dev-ling-3.1-flash
mkdir -p "$HOME/.cache/huggingface"

docker run --gpus all --network host --ipc=host --rm \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  lmsysorg/sglang:dev-ling-3.1-flash \
  python3 -m sglang.launch_server \
    --model-path inclusionAI/Ling-3.1-flash \
    --tp 8 --ep 8 \
    --speculative-algorithm NEXTN \
    --host 127.0.0.1 --port 30000

서버가 준비되면 http://127.0.0.1:30000/v1/chat/completions로 요청을 보내요. OpenAI 호환 API⁹에서는 모델 ID Ling-3.1-flash를 사용하고, 모델 카드의 enable_thinking, temperature, top-k, top-p 예제를 참고해요.

먼저 짧은 텍스트를 보내 응답을 확인하고, 이어서 실제 문서 길이와 도구 호출¹⁰을 시험해요. 응답이 없으면 컨테이너 로그에서 모델 적재 오류와 GPU 메모리 부족을 살펴봐요. 공식 실행 안내

curl -s http://127.0.0.1:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"Ling-3.1-flash","messages":[{"role":"user","content":"짧은 요약을 한 문장으로 써 주세요."}],"chat_template_kwargs":{"enable_thinking":true},"temperature":1.0,"top_k":20,"top_p":0.95,"stream":true}'

10월 19일 날짜가 붙은 판(Ling-3.1-flash-1019)이 올라왔어요. 구조와 문맥 길이는 그대로고 후처리 학습이 달라졌어요. 총 560B에 활성 25B, 1M 문맥, 8×H200 구성도 이전과 같아요.

점수가 오른 폭은 이래요. Artificial Analysis 지능지수가 41에서 44로, AA-Briefcase가 1400에서 1524 Elo로 올랐고, AutomationBench 62%에서 68%, CritPt 18%에서 26%, SciCode 54%에서 57%가 됐어요.

날짜가 붙은 판은 이전 판과 섞이기 쉬워요. 서버를 띄울 때 --model-path가 어느 판을 가리키는지, 내려받은 캐시가 어느 리비전인지 확인하세요.

긴 문맥이나 코딩·에이전트 기능이 필요한지 확인하려면 대표 업무를 정해 같은 문서와 출력 길이로 반복해요. 첫 토큰까지 걸린 시간과 전체 완료 시간을 기록하면 1M 문맥이나 추론 옵션이 실제 작업에 도움이 되는지 판단할 수 있어요. 공개 벤치마크의 처리량¹¹은 측정에 사용한 장비와 조건에 해당해요.

팀원에게 API를 제공하기 전에는 접근 가능한 사용자와 요청·서버 로그의 보관 범위를 정해요. 사내 문서로 시험한다면 자료를 사용할 수 있는 범위도 함께 확인하세요.