실행 프로그램과 확장
맥·RTX 3090·서버에서 Jev형 로컬 AI를 돌리려면
Jev형 프로젝트를 보고 GPU부터 고르면 일반 채팅 모델을 살 때와 같은 실수를 반복하기 쉽습니다. 이 작업은 긴 답변을 쓰지 않아 디코드 속도의 비중이 작고, 문서를 읽는 프리필과 질문 가지를 나누는 방식이 더 중요합니다. 노트북에서 원리를 확인할지, 24GB 카드로 반복 실험을 할지, 여러 사용자의 요청을 받을지에 따라 필요한 장비가 달라집니다. 가진 장비에서 시작해 확장할 이유가 생기는 순서로 살펴보겠습니다.
첫날에는 CPU로 요청 한 번을 끝냅니다
Qwen3.5-0.8B를 쓰는 Simple Jev 경로는 전용 GPU 없이도 요청 형식과 응답 구조를 확인할 수 있습니다. 문서 한 단락, 질문 두 개와 선택지 두세 개만 넣어 결과가 어떤 JSON으로 나오는지 봅니다. 이 단계의 목표는 속도나 최고 정확도가 아니라 상태, 질문, 후보가 어디에서 조립되는지 이해하는 것입니다. 정답을 알고 있는 예제로 확률 합과 선택값을 확인한 뒤 표현을 조금 바꿔 결과가 흔들리는지 기록하세요. 여기서 불편한 부분을 적어야 더 큰 모델과 장비가 해결할 문제를 알 수 있습니다.
맥에서는 4B Q4와 MLX가 현실적인 기준선입니다
SemIf의 MLX 백엔드는 Apple Silicon에서 Qwen3.5-4B를 직접 점수화할 수 있습니다. 브라우저 데모에 쓰인 Q4 파일은 약 3GB급이지만 실제 실행에는 런타임, 캐시와 운영체제 공간이 더 필요합니다. 16GB 맥에서도 작은 실험은 가능할 수 있으나 다른 앱을 닫아야 할 정도라면 반복 작업의 기준선으로 보기 어렵습니다. 24GB 이상에서는 여유를 두고 질문 수를 늘려볼 수 있습니다. 같은 문서를 fresh로 매번 읽는 경우와 shared로 재사용하는 경우를 나누고 결과 일치와 지연을 함께 적으세요.
RTX 3090급 24GB는 검증을 반복하기 좋습니다
4B BF16 가중치는 단순 계산으로 약 8GB이며 24GB VRAM에서는 모델, 캐시와 여러 질문 배치를 함께 놓을 여지가 있습니다. SemIf가 RTX 3090에서 공개한 결과는 이 규모가 direct, prefix reuse와 parallel suffix 경로를 비교하기 좋은 실험대라는 점을 보여줍니다. 그렇다고 3090이라는 이름만으로 같은 수치가 나오지는 않습니다. 드라이버, PyTorch와 모델 리비전, 입력 토큰과 질문 수를 고정하고 첫 실행을 제외한 반복값을 남겨야 합니다. 처리량이 필요하지 않다면 이미 가진 작은 GPU나 맥에서 결과 품질을 먼저 확인해도 됩니다.
35B와 SGLang은 서비스 운영 문제입니다
Qwen3.6-35B-A3B는 토큰당 활성 파라미터가 작아도 전체 가중치를 보관해야 합니다. openjev-sglang의 기본 NVFP4 체크포인트는 약 23GB급으로 소개되지만 공개 기준 환경은 B200이며, 소비자용 24GB 카드에서 같은 커널과 여유 메모리가 보장된다는 뜻이 아닙니다. 이 단계에서는 단일 요청 속도보다 여러 사용자의 공통 프롬프트가 radix cache에 얼마나 남는지, 질문 분기를 몇 개까지 동시에 받을지와 과부하를 어떻게 거절할지를 설계합니다. 직접 쓸 판단기 하나가 목적이라면 서버 구성을 따라 하기보다 4B 실험을 안정화하는 편이 낫습니다.
구매 전에는 정확도와 지연을 함께 남깁니다
내 업무에서 자주 나오는 상태 30개와 질문 묶음을 먼저 만듭니다. 답을 사람이 표시하고 direct와 shared 경로의 선택, 확률과 지연을 같은 표에 기록하세요. 작은 모델이 충분히 맞고 기다림도 짧다면 장비를 바꿀 이유가 없습니다. 정확도는 충분하지만 질문이 많을 때만 느리다면 GPU나 캐시 재사용이 해결책이 될 수 있습니다. 반대로 큰 모델에서도 규칙을 자주 틀리면 더 비싼 장비가 아니라 선택지 설명, 데이터와 사람 검토 경로를 고쳐야 합니다. Jev형 자동화는 tok/s 순위보다 실패했을 때 어디로 돌아가는지가 먼저입니다.
