실행 프로그램과 확장
최종 업데이트
RTX 5090 32GB에서 Strata 실행하기: RAM과 공개 측정 읽기
RTX 5090의 32GB VRAM은 GPU에 더 많은 전문가를 유지하지만, 긴 입력에는 시스템 RAM 여유와 프롬프트 길이가 중요해요.
Strata는 텍스트와 선택적 이미지를 입력받아 Qwen3.8-Flash-Next 답변을 만드는 로컬 런타임1이에요. 32GB VRAM2의 RTX 5090은 GPU3에 더 많은 전문가를 둘 수 있고, 시스템 RAM4은 나머지 전문가와 실행 상태를 맡아요. 모델 추천은 64GB RAM에서 IQ2_XS, 96GB 이상에서 IQ3_S와 UD-IQ4_XS를 선택지로 제시해요. 공개된 stock Strata RTX 5090 사례는 0.1.29와 IQ2_XS, Linux, 64GB RAM에서 특정 합성 코드 설명 요청을 세 길이로 측정했어요.
32GB VRAM 뒤에도 RAM 여유가 필요해요
Strata는 Windows와 Linux에서 질문과 선택적 이미지 입력을 받고 Qwen3.8-Flash-Next의 답변을 로컬 브라우저나 연결된 앱으로 보내요. RTX 5090의 32GB VRAM은 전문가를 더 많이 GPU에 캐시하게 해 생성 중 CPU5가 맡는 작업을 줄일 수 있어요. RAM은 전체 전문가와 운영체제, 앱, 긴 문맥의 상태를 함께 처리합니다.
긴 문서와 코드 저장소를 다루고 다른 앱까지 함께 열면 시스템 RAM과 KV 캐시6가 더 필요해요. 평소 사용할 앱과 문맥 길이를 정한 뒤, 그 작업에 필요한 RAM 여유를 남겨 IQ2_XS나 IQ3_S를 선택하세요.
일반적인 시작 기준은 VRAM 12GB, RAM 32GB, 여유 디스크 약 80GB예요. 모델마다 다운로드 크기와 RAM 요구량은 다르고, UD-IQ4_XS는 약 94GB 다운로드라 저장 공간도 크게 필요해요. Strata 모델 선택표에서 최신 권장 구성을 확인하세요.
64GB와 96GB에서 시작할 모델
RAM 64GB라면 IQ2_XS가 권장 시작 모델이고 Q2_0은 더 빠른 선택지예요. 96GB 이상에서는 IQ3_S를 고려할 수 있어요. IQ3_S는 전문가를 모두 유지하면서 더 큰 용량을 사용해 답변과 긴 문맥 작업에 여유를 더하지만, 64GB에서는 다른 앱을 적게 열어야 할 수 있습니다. 96GB에서 UD-IQ4_XS도 검토할 수 있지만 파일이 약 94GB이고 실행 시 RAM·저장장치 요구가 커요.
RAM 32GB에 VRAM 24GB 이상 GPU를 조합하면 Q2_0과 IQ2_XS의 저RAM 구성이 가능해요. RTX 5090의 32GB VRAM도 이 범위에 포함돼요. 전체 모델을 RAM에 올리는 모드는 설치 프로그램에서 선택할 수 있고, 다른 앱과 긴 입력·이미지 처리에 쓸 메모리도 남겨두세요.
설치 때는 모델 외에도 MTP7 draft 파일을 내려받아요. 초안 토큰8을 제안하고 본 모델이 검증해 답변을 빠르게 생성하는 데 쓰지만, draft 레이어와 head가 VRAM을 일부 사용합니다. 긴 문맥의 KV 캐시도 메모리를 차지하므로, 실행할 때 Monitor에서 VRAM·RAM 사용량과 첫 요청 대기를 확인하세요.
32K 입력은 첫 답까지 약 6초 걸렸어요
Strata 커뮤니티에 공개된 stock 측정은 RTX 5090 32GB, Core Ultra 9 285K, RAM 64GB, Ubuntu Linux에서 IQ2_XS를 실행한 사례예요. 엔진 0.1.29, 131,072 컨텍스트, INT8 KV, MTP를 사용했고, 4K·32K·128K 프롬프트9에서 각각 세 번 반복한 중앙값을 보고했어요. 작업은 합성 코드 설명 요청이며 매번 256토큰을 생성했습니다.
보고된 생성 속도는 4K 입력에서 179.4 tok/s, 32K에서 175.7, 128K에서 165.0이에요. 입력 프롬프트 처리량10은 각 길이에서 4,269.8, 5,543.2, 5,778.7 tok/s였어요. 숫자만 보면 128K 입력이 더 빨리 읽히지만 입력 토큰 수 자체가 훨씬 많아 첫 응답까지의 시간은 22초 정도였습니다.
좌우로 밀어 표 전체를 비교하세요.
| 프롬프트 | 입력 처리량 | 답변 생성 | 첫 토큰까지 |
|---|---|---|---|
| 4K | 4,269.8 tok/s | 179.4 tok/s | 0.974 s |
| 32K | 5,543.2 tok/s | 175.7 tok/s | 5.950 s |
| 128K | 5,778.7 tok/s | 165.0 tok/s | 22.262 s |
측정 조건: 2026-09-30 · RTX 5090 32GB · Core Ultra 9 285K · RAM 64GB · Ubuntu 24.04.4 · 드라이버 595.84 · Strata 0.1.29 · IQ2_XS · INT8 KV · MTP · 합성 코드 설명 · 새 입력 · 출력 상한 256토큰 · 길이별 3회 중앙값.
NVFP4 fork와 stock Strata의 결과를 구분해요
RTX 5090용 sergqwer/strata-nvfp4는 NVFP411 모델 팩과 수정된 엔진을 사용하는 별도 fork예요. 이 구성을 시험하려면 해당 fork의 엔진과 모델 파일을 함께 준비하고, 기본 Strata 구성에서 얻은 결과를 비교 기준으로 남겨두세요.
Windows의 sergqwer/strata-nvfp4 사례는 NVFP4 PLE12 파일을 사용했어요. 다양한 프롬프트에서는 PLE 테이블을 디스크에서 읽으며 입력 처리량이 약 1,240 tok/s였고, 반복 문자열이 많은 합성 프롬프트에서는 캐시된 행 덕분에 약 6,500~7,300 tok/s였어요. --ple-io mmap은 워밍된 실행에서 약 6,037 tok/s를 냈지만 첫 cold pass는 별도 조건이었어요. 프롬프트 종류와 캐시 상태가 각 측정값에 영향을 줬어요.
실제 긴 입력이 느리면 출력 tok/s보다 첫 질문의 문맥 길이, 프롬프트 처리량, RAM 사용량과 SSD13 읽기를 따로 확인하세요. 한 번 긴 문서를 보낸 뒤 이어지는 대화는 이전 프롬프트가 재사용될 수 있어 첫 질문과 기다림이 다릅니다. GPU는 바쁜데 CPU가 낮은지, 반대로 CPU가 전문가를 계산하는지 Monitor에서 보면 병목을 좁힐 수 있어요.
용어 각주
런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기MTP — 한 번에 여러 미래 토큰을 예측하도록 학습하는 목표 또는 이를 수행하는 모델 구성입니다. 추측 디코딩에서는 이 예측을 후보 토큰으로 제안할 수 있습니다.
본문으로 돌아가기토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기처리량 — 일정 시간 동안 처리하거나 생성한 작업량입니다. 토큰/초, 요청/초처럼 단위를 함께 확인해야 비교할 수 있습니다.
본문으로 돌아가기NVFP4 — NVIDIA가 정의한 4비트 부동소수점 데이터 형식입니다. 지원 여부는 GPU 세대, 모델과 소프트웨어 구현에 따라 다릅니다.
본문으로 돌아가기PLE 임베딩 테이블 — Per-Layer Embedding의 약자로, 모델의 특정 층에 임베딩 정보를 더하는 구조입니다. Qwen Flash-Next 계열은 n-그램 테이블을 사용하며, 지원되는 실행 경로에서는 이 테이블을 RAM이나 SSD로 오프로딩할 수 있습니다.
본문으로 돌아가기SSD — 플래시 메모리를 사용하는 데이터 저장 장치입니다. 전원이 꺼져도 데이터가 보존됩니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- Strata는 텍스트와 선택적 이미지를 입력받아 Qwen3.8-Flash-Next 답변을 만드는 로컬 런타임이에요. 32GB VRAM의 RTX 5090은 GPU에 더 많은 전문가를 둘 수 있고, 시스템 RAM은 나머지 전문가와 실행 상태를 맡아요. 모델 추천은 64GB RAM에서 IQ2_XS, 96GB 이상에서 IQ3_S와 UD-IQ4_XS를 선택지로 제시해요. 공개된 stock Strata RTX 5090 사례는 0.1.29와 IQ2_XS, Linux, 64GB RAM에서 특정 합성 코드 설명 요청을 세 길이로 측정했어요.
- 필요한 메모리는 어느 정도인가요?
- Strata는 Windows와 Linux에서 질문과 선택적 이미지 입력을 받고 Qwen3.8-Flash-Next의 답변을 로컬 브라우저나 연결된 앱으로 보내요. RTX 5090의 32GB VRAM은 전문가를 더 많이 GPU에 캐시하게 해 생성 중 CPU가 맡는 작업을 줄일 수 있어요. RAM은 전체 전문가와 운영체제, 앱, 긴 문맥의 상태를 함께 처리합니다.