실행 프로그램과 확장
최종 업데이트
RTX 3090 24GB로 Strata 실행하기: VRAM·RAM·긴 문맥
RTX 3090의 24GB VRAM은 더 많은 전문가를 GPU에 두지만, RAM과 CPU·PCIe가 실제 속도와 실행 여유를 좌우해요.
Strata는 텍스트나 선택한 이미지를 입력받아 Qwen3.8-Flash-Next 답변을 만드는 로컬 런타임1이에요. RTX 3090은 24GB VRAM2으로 12GB 카드보다 많은 전문가를 캐시할 수 있어요. 공식 문서의 100~140 tok/s 범위는 CPU3와 RAM4 64GB를 가정한 추정치이고, 프롬프트5 길이별 값도 달라요. 32GB RAM과 RTX 3090은 Q2_0·IQ2_XS 저RAM 모드가 가능하고, 64GB에서는 IQ2_XS부터, 96GB에서는 IQ3_S와 UD-IQ4_XS를 검토할 수 있어요.
24GB VRAM이 모델 실행에서 맡는 일
Strata는 질문이나 선택한 이미지를 받아 Qwen3.8-Flash-Next의 답을 생성하는 Windows·Linux용 런타임이에요. RTX 3090은 VRAM 24GB를 갖춰 12GB RTX 5070보다 GPU6에 더 많은 전문가를 캐시할 수 있어요. RAM에는 나머지 전문가와 실행 환경이 놓이고, CPU는 GPU 캐시에 없는 전문가 계산을 맡으며, SSD7는 PLE8(per-layer embeddings) 조회 자료를 보관합니다.
생성 속도는 GPU 메모리 대역폭9뿐 아니라 CPU의 전문가 계산량과 PCIe 링크 폭·세대, RAM 여유에 따라 달라져요. 3090을 다른 PC에 옮기면 CPU와 메인보드 연결 조건도 함께 확인하세요.
일반 요구 사양은 VRAM 12GB 이상, 시스템 RAM 32GB 이상, 여유 디스크 약 80GB예요. RTX 3090에서 모델 크기를 고를 때는 GPU 용량 다음으로 RAM이 운영체제와 앱, 모델 전문가를 함께 수용하는지 살펴보세요. 공식 요구사항.
32GB·64GB·96GB RAM에서 모델 고르기
RTX 3090의 24GB VRAM과 시스템 RAM 32GB 조합에서는 Q2_0, IQ2_XS, Coder의 저RAM 구성을 선택할 수 있어요. 이 구성은 GPU에 올리지 않은 전문가를 RAM에 상주시켜 응답 중 SSD에서 읽지 않도록 해요. RAM에 실행 환경과 다른 앱이 쓸 공간이 부족하면 mmap 경로가 파일 캐시를 활용하고 SSD 읽기가 늘 수 있어요. Monitor에서 RAM과 디스크 활동을 확인하고, 다른 앱을 닫거나 모델 크기를 낮춰 여유를 확보하세요.
64GB RAM이면 IQ2_XS를 권장 시작점으로 두고, IQ3_XXS나 IQ3_S를 실제 앱과 문맥으로 시험할 수 있어요. IQ3_S는 다른 앱을 적게 열어야 할 수 있습니다. 96GB 이상이면 IQ3_S를 쓸 RAM 여유가 커지고, 더 큰 UD-IQ4_XS도 공식 설치 선택지예요. 64GB PC에서 UD-IQ4_XS는 일부 전문가를 SSD에서 읽으므로 NVMe10 SSD가 도움이 되지만, 80GB 정도의 다운로드 공간보다 더 넓은 여유가 필요해요.
Coder는 32GB PC에서 실행하기 쉬운 반면 전문가 절반을 제거해 코드 밖 작업과 영어 이외 언어에서 원본보다 약한 결과가 보고됐어요. 한국어와 다국어 일반 용도라면 Q2_0이나 IQ2_XS처럼 모든 전문가를 유지하는 모델을 먼저 비교하세요.
3090 속도 추정에는 CPU와 PCIe 조건이 들어가요
Strata 문서의 RTX 3090 Q2_0 표는 프롬프트 길이별 입력 처리와 답변 생성을 나눠 보여줘요. 답변 생성 추정은 4K에서 약 140 tok/s, 32K 약 130, 128K 약 100, 262K 약 85예요. 128K·262K처럼 긴 문맥은 첫 입력을 읽는 시간도 함께 고려해야 해요.
| 프롬프트 길이 | 입력 처리 추정 | 답변 생성 추정 |
|---|---|---|
| 4K | ~491 tok/s | ~140 tok/s |
| 32K | ~521 tok/s | ~130 tok/s |
| 128K | ~495 tok/s | ~100 tok/s |
| 262K | ~453 tok/s | ~85 tok/s |
추정에는 약 ±20% 오차 범위가 제시돼 있고, 입력 처리 추정은 오래된 프리필11 경로를 기준으로 해요. 엔진이 전문가를 PCIe로 GPU에 보내는 속도는 메인보드의 링크 폭과 세대에 영향을 받아요. GPU만 교체했는데 속도가 기대와 다르면 CPU가 담당하는 전문가 계산과 GPU-Z나 Monitor에 표시되는 PCIe 링크부터 살펴보세요.
조건: 공식 문서의 RTX 3090 표는 CPU와 RAM 64GB를 가정한 약 ±20% 추정이에요. 프롬프트 처리 수치는 이전 경로를 기준으로 해요. 공식 RTX 3090 추정표.
긴 문맥에서는 KV 캐시 구성을 확인해요
긴 입력을 계속 이어가는 코딩 대화에서는 KV 캐시12가 늘어 RAM이나 VRAM을 차지해요. Strata는 높은 문맥 길이에서 KV를 RAM에 두고 일부만 VRAM에 상주시켜 전문가 캐시 자리를 확보하는 KV streaming을 지원해요. 이 방식은 답변 내용을 바꾸지 않고 캐시가 놓이는 위치를 조정하지만 RAM 공간을 사용합니다.
RTX 3090에서 보고된 선택형 K8V4예요. Coder를 198K 문맥으로 실행한 사례에서 8bit KV보다 KV 메모리를 23% 줄였고, 출력은 85에서 99 tok/s로 높아졌어요. 같은 조건에서 needle 검색 결과는 유지됐고 프롬프트 처리는 2~5% 느렸어요. K8V4는 선택 설정이므로 긴 문서의 답과 내 작업을 확인한 뒤 고르세요.
긴 문맥에서 RAM이 부족하거나 디스크 읽기가 계속된다면 문맥 길이를 낮추고 다른 앱을 닫아보세요. 같은 입력에서 기본 KV와 K8V4의 답변, 메모리 사용량, 완료 시간을 비교하면 내 작업에 맞는 구성을 고를 수 있어요.
용어 각주
런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기SSD — 플래시 메모리를 사용하는 데이터 저장 장치입니다. 전원이 꺼져도 데이터가 보존됩니다.
본문으로 돌아가기PLE 임베딩 테이블 — Per-Layer Embedding의 약자로, 모델의 특정 층에 임베딩 정보를 더하는 구조입니다. Qwen Flash-Next 계열은 n-그램 테이블을 사용하며, 지원되는 실행 경로에서는 이 테이블을 RAM이나 SSD로 오프로딩할 수 있습니다.
본문으로 돌아가기메모리 대역폭 — 메모리와 프로세서 사이에서 단위 시간에 전송할 수 있는 데이터 양입니다. 보통 초당 바이트(B/s)로 나타냅니다.
본문으로 돌아가기NVMe — SSD가 PCI Express를 통해 통신할 때 사용하는 저장 장치용 프로토콜입니다.
본문으로 돌아가기프리필 — LLM이 입력 프롬프트를 읽고 각 토큰의 내부 표현을 계산하는 단계입니다. 입력이 길수록 처리할 토큰이 많아집니다.
본문으로 돌아가기KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- Strata는 텍스트나 선택한 이미지를 입력받아 Qwen3.8-Flash-Next 답변을 만드는 로컬 런타임이에요. RTX 3090은 24GB VRAM으로 12GB 카드보다 많은 전문가를 캐시할 수 있어요. 공식 문서의 100~140 tok/s 범위는 CPU와 RAM 64GB를 가정한 추정치이고, 프롬프트 길이별 값도 달라요. 32GB RAM과 RTX 3090은 Q2_0·IQ2_XS 저RAM 모드가 가능하고, 64GB에서는 IQ2_XS부터, 96GB에서는 IQ3_S와 UD-IQ4_XS를 검토할 수 있어요.
- 필요한 메모리는 어느 정도인가요?
- Strata는 질문이나 선택한 이미지를 받아 Qwen3.8-Flash-Next의 답을 생성하는 Windows·Linux용 런타임이에요. RTX 3090은 VRAM 24GB를 갖춰 12GB RTX 5070보다 GPU에 더 많은 전문가를 캐시할 수 있어요. RAM에는 나머지 전문가와 실행 환경이 놓이고, CPU는 GPU 캐시에 없는 전문가 계산을 맡으며, SSD는 PLE(per-layer embeddings) 조회 자료를 보관합니다.