새로 나온 모델 · 2026.09.12
최종 업데이트
Ling-3.0-flash-VL 로컬 실행: INT4 70.87GiB부터 확인할 것
Ling-3.0-flash-VL로 이미지와 영상 프레임을 읽어요
Ling-3.0-flash-VL은 이미지와 영상 프레임1을 읽고 텍스트로 답하는 약 124.85B MoE2 모델이에요. SGLang 안내의 5.1B는 토큰3마다 활성화되는 계산량이며 전체 가중치 크기는 아니에요. 공식 BF164·INT4·FP4 파일과 Spark 측정을 각각 조건에 맞춰 봐야 해요.
제품 소개 영상에서 로고가 보이는 장면을 찾거나 상자의 색과 위치를 묻고 싶다면, 필요한 프레임을 모델에 넣고 텍스트 답을 받는 방식이에요. 먼저 질문에 필요한 장면만 뽑아 짧게 시험하세요. 영상 전체를 자동으로 읽거나 새 영상을 만드는 기능과는 달라요.
전체 124.85B와 활성 5.1B는 서로 다른 규모예요
전체 파라미터는 124.85B이고 SGLang 안내의 5.1B는 토큰 하나를 처리할 때 활성화되는 부분이에요. MoE는 필요한 전문가를 선택해 계산하지만 모든 전문가 가중치에 접근할 수 있어야 해요. 저장 공간과 실행 메모리는 전체 배포 파일을 기준으로 준비해요.
SGLang 설정은 기본 128K 문맥이고 256K는 YaRN 확장 설정이에요. 긴 문서와 영상 프레임, 질문, 런타임5 버퍼, KV 캐시6가 함께 메모리를 사용해요. 문맥 상한은 가능한 범위이지 모든 요청이 같은 양을 처리한다는 약속은 아니므로, 실제로 넣을 프레임 수와 텍스트 길이로 시작해요.
양자화 파일과 호환 실행기를 함께 골라요
공식 가중치 파일은 BF16 약 232.55GiB, INT4 70.87GiB, FP4 64.81GiB예요. 이 수치는 다운로드·보관 크기이며 실행 여유와 입력 처리 메모리가 추가돼요. 파일을 변환할 때는 원본과 변환본을 함께 둘 공간도 계산해요.
공식 FP4는 NVIDIA NVFP47나 GGUF8를 뜻하지 않고 INT4도 모든 4비트 로더와 호환되는 것은 아니에요. 스케일 방식과 커널이 다를 수 있으니 체크포인트9 형식과 모델 아키텍처를 지원하는 런타임인지 확인해요. 파일이 열리지 않으면 메모리 부족으로 단정하기 전에 파일 형식과 커널 지원을 점검해요.
영상 입력은 장면 선택과 검증을 거쳐요
Ling-3.0-flash-VL은 이미지나 영상 프레임을 보고 텍스트로 답하지만 영상을 생성하지는 않아요. 제품 영상에서 로고가 보이는 시점을 묻는다면 핵심 장면 몇 개와 구체적인 질문부터 넣어요. 256K 문맥을 설정해도 영상 전체가 자동으로 입력되는 것은 아니며 프레임 수·해상도·설명 텍스트가 메모리를 함께 사용해요.
답변에서 말한 시점의 원본 프레임을 열어 물체와 행동이 실제로 보이는지 확인해요. 자막의 제품명을 읽은 것인지 화면의 로고를 본 것인지도 구분하면 좋아요. 프레임을 따로 추출했다면 원본 영상의 시각을 파일명이나 입력에 남겨 다음 검토자가 같은 장면을 찾을 수 있게 해요.
DGX Spark 속도는 지정된 텍스트 조건 안에서 비교해요
SGLang 공식 가이드는 DGX Spark 한 대에서 INT4와 MXFP4를 비교했어요. 조건은 입력 8,192토큰, 출력 1,024토큰, 동시 요청 1개예요. 토큰 사이 지연 중앙값은 INT4 44.18ms, MXFP4 30.18ms였어요.
생성 속도는 각각 약 22.6 tok/s와 33.1 tok/s예요. MXFP4는 NVFP4와 다른 형식이므로 두 이름을 같은 설정으로 보면 안 돼요.
첫 토큰 중앙값은 INT4 약 2.89초, MXFP4 약 2.54초예요. 이 대기에는 입력 프리필10이 들어가고 이후 토큰 간격은 디코드11 속도를 설명해요. 측정은 텍스트 조건이라 이미지 전처리를 포함하지 않고 다른 GPU12나 Mac으로 일반화할 수 없어요. 여러 팀원이 함께 쓰는 서버 용량도 동시 요청 1개 측정으로 판단할 수 없어요.
영상 작업은 정답을 아는 짧은 클립으로 따로 시험해요. 예를 들어 답이 ‘로고는 00:12쯤 상자 오른쪽’이라고 하면 해당 원본 프레임과 대조하고, 자막을 읽은 것인지 화면 속 로고를 본 것인지 살펴요. 비교 시에는 같은 실행 형식·질문·출력 예산·입력 토큰 수를 유지하고 첫 토큰 대기와 생성 구간을 나눠 기록해요.
좌우로 밀어 표 전체를 비교하세요.
| 형식 | 토큰 간격 중앙값 | 환산 생성 속도 | 첫 토큰 중앙값 |
|---|---|---|---|
| INT4 | 44.18ms | 약 22.6 tok/s | 약 2.89초 |
| MXFP4 | 30.18ms | 약 33.1 tok/s | 약 2.54초 |
용어 각주
프레임 — 영상의 한 장면을 이루는 단일 이미지입니다.
본문으로 돌아가기MoE — 여러 전문가 하위망 중 일부를 입력에 따라 선택해 사용하는 모델 구조입니다. 총 파라미터 수와 한 토큰 처리에 활성화되는 파라미터 수는 다를 수 있습니다.
본문으로 돌아가기토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기BF16 — 모델 수치를 저장하고 계산하는 16비트 부동소수점 형식입니다. FP32와 같은 폭의 지수부를 써 넓은 값 범위를 표현합니다.
본문으로 돌아가기런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기NVFP4 — NVIDIA가 정의한 4비트 부동소수점 데이터 형식입니다. 지원 여부는 GPU 세대, 모델과 소프트웨어 구현에 따라 다릅니다.
본문으로 돌아가기GGUF — 모델 정보를 담는 파일 형식으로 llama.cpp 계열 도구에서 널리 사용됩니다.
본문으로 돌아가기체크포인트 — 학습된 모델의 가중치 등을 저장한 파일입니다. 같은 모델 계열도 버전이나 용도에 따라 다른 체크포인트를 쓸 수 있습니다.
본문으로 돌아가기프리필 — LLM이 입력 프롬프트를 읽고 각 토큰의 내부 표현을 계산하는 단계입니다. 입력이 길수록 처리할 토큰이 많아집니다.
본문으로 돌아가기토큰 디코드 — 입력과 앞서 만든 답변을 바탕으로 다음 출력 토큰을 차례로 생성하는 단계입니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- Ling-3.0-flash-VL은 이미지와 영상 프레임을 읽고 텍스트로 답하는 약 124.85B MoE 모델이에요. SGLang 안내의 5.1B는 토큰마다 활성화되는 계산량이며 전체 가중치 크기는 아니에요. 공식 BF16·INT4·FP4 파일과 Spark 측정을 각각 조건에 맞춰 봐야 해요.
- 필요한 메모리는 어느 정도인가요?
- 전체 파라미터는 124.85B이고 SGLang 안내의 5.1B는 토큰 하나를 처리할 때 활성화되는 부분이에요. MoE는 필요한 전문가를 선택해 계산하지만 모든 전문가 가중치에 접근할 수 있어야 해요. 저장 공간과 실행 메모리는 전체 배포 파일을 기준으로 준비해요.
수정 내역
사이트의 안내가 바뀐 기록입니다. 설치된 엔진·모델 버전을 자동으로 확인한 결과는 아닙니다.
새 모델의 단일 Spark 실행 경로 추가
DeepSeek과 Ling의 공개 단일 Spark 측정을 속도 체감에 연결했습니다. 확인되지 않은 장비에는 같은 속도나 실행 명령을 적용하지 않습니다.