이 글에서 가장 먼저 확인할 것은 무엇인가요?

Strata는 질문과 선택적 이미지 입력을 받아 Qwen3.8-Flash-Next 답변을 만드는 Windows·Linux용 로컬 런타임이에요. RTX 5070은 VRAM 12GB라 GPU가 빠르게 접근할 전문가를 캐시하고, RAM은 전체 전문가와 실행 환경을 맡아요. RTX 5070·Ryzen 5 7600·64GB RAM 공개 기준에서 Q2_0은 짧은 대화 94 tok/s, 128K 문맥 76 tok/s였어요. RAM 32GB의 5070 구성에서는 Coder부터 살펴보고, Q2_0·IQ2_XS 저RAM 모드는 24GB GPU 조건에서 확인하세요.

실행 프로그램과 확장

최종 업데이트 2026-10-30

RTX 5070 12GB에서 Strata 실행하기: 125B 모델과 RAM 선택

RTX 5070은 Strata의 125B MoE를 실행할 수 있어요. 모델 전체를 VRAM에 담는 대신 GPU와 RAM, CPU, SSD가 역할을 나눠요.

Strata는 질문과 선택적 이미지 입력을 받아 Qwen3.8-Flash-Next 답변을 만드는 Windows·Linux용 로컬 런타임¹이에요. RTX 5070은 VRAM² 12GB라 GPU³가 빠르게 접근할 전문가를 캐시하고, RAM⁴은 전체 전문가와 실행 환경을 맡아요. RTX 5070·Ryzen 5 7600·64GB RAM 공개 기준에서 Q2_0은 짧은 대화 94 tok/s, 128K 문맥 76 tok/s였어요. RAM 32GB의 5070 구성에서는 Coder부터 살펴보고, Q2_0·IQ2_XS 저RAM 모드는 24GB GPU 조건에서 확인하세요.

실행 조건과 핵심 내용

GPU 메모리는 전체 모델이 아니라 자주 쓰는 전문가를 캐시하고, RAM은 모델 실행에 필요한 전체 전문가와 앱을 수용해요.
RTX 5070·Ryzen 5 7600·64GB RAM 측정에서 Q2_0은 짧은 대화 94 tok/s, 128K 문맥 76 tok/s였어요.
64GB RAM에서는 IQ2_XS부터 시작해 IQ3_XXS와 IQ3_S를 비교할 수 있어요. Coder는 32GB에 맞지만 코드 밖 작업과 CJK 언어에서 약점이 보고됐어요.

RTX 5070에서 Strata는 질문을 답변으로 바꿔요

Strata는 텍스트 질문이나 선택한 이미지 입력을 받아 Qwen3.8-Flash-Next가 만든 답변을 브라우저 채팅이나 연결한 앱으로 보내는 Windows·Linux용 로컬 런타임이에요. RTX 5070은 12GB VRAM을 갖췄고, Strata는 GPU·시스템 RAM·CPU⁵·SSD⁶를 함께 사용해 125B 파라미터 MoE⁷ 모델을 실행해요.

VRAM은 GPU가 빠르게 계산할 전문가를 캐시하고, RAM은 전체 모델 전문가와 실행 중 데이터를 보관해요. CPU는 GPU 캐시에 없는 전문가 계산을 나눠 맡고, SSD에는 PLE⁸(per-layer embeddings) 조회 자료를 둬요. 따라서 모델 선택은 VRAM과 시스템 RAM을 함께 보고 결정해야 해요.

Strata의 일반 출발 사양은 VRAM 12GB 이상, 시스템 RAM 32GB 이상, 여유 디스크 약 80GB예요. SSD는 첫 실행 때 모델 파일을 읽는 시간을 줄여요. 모델 다운로드는 약 70GB라 저장 공간을 여유 있게 비워두는 편이 좋아요. 최신 지원 카드와 운영체제는 Strata 공식 저장소에서 확인할 수 있어요.

검은 타워형 PC와 모니터, 옆에 놓인 RAM 모듈 — RTX 5070의 12GB VRAM은 GPU 캐시로 쓰이고 전체 모델은 PC의 여러 부품에 나뉘어요.

64GB RAM이면 전체 모델 크기를 비교할 수 있어요

RTX 5070의 12GB VRAM은 일반 최소 기준을 충족하지만, 시스템 RAM 용량에 따라 설치할 수 있는 모델 크기가 달라져요. Strata 설치 프로그램은 RAM에 맞는 크기를 추천해요. 32GB RAM에서는 512개 전문가 중 256개를 남긴 Coder가 기본 선택이고, 48GB에서는 Q2_0이나 IQ2_XS, 64GB에서는 IQ2_XS부터 비교할 수 있어요.

64GB RAM에서는 IQ3_XXS와 IQ3_S도 선택지예요. IQ3_S는 더 큰 크기라 다른 앱을 적게 열어야 할 수 있어요. Windows와 브라우저, 편집기도 RAM을 사용하므로 실제로 함께 켜둘 앱을 감안하세요. RAM별 모델 선택표는 96GB 이상에서 IQ3_S를 더 여유 있게 사용할 수 있다고 안내해요.

Coder는 코드 작업에 맞춘 별도 모델이에요. 전문가를 절반만 남겨 32GB RAM에서도 실행하기 쉽지만, 영어 이외 언어와 CJK 텍스트에서는 원본보다 약한 결과가 보고됐어요. 한국어 일반 질문과 글쓰기도 계획한다면 Q2_0·IQ2_XS처럼 모든 전문가를 유지하는 크기를 먼저 비교하세요.

책상 위에 놓인 그래픽카드, RAM 모듈과 NVMe SSD — GPU 메모리와 시스템 RAM은 다른 역할을 하므로 함께 살펴봐야 해요.

짧은 질문과 128K 문맥은 속도를 따로 읽어요

아래 표는 RTX 5070 공개 측정에서 모델 크기에 따라 답변이 이어지는 속도와 긴 입력을 읽는 처리량⁹이 어떻게 달라졌는지 보여줘요. 답변 생성 속도는 짧은 채팅과 128K 문맥을 나눠 기록했고, 프롬프트¹⁰ 처리량은 32K 입력을 읽을 때의 토큰¹¹/초예요.

Q2_0은 짧은 채팅에서 초당 약 94토큰을 생성하고, 128K 문맥에서는 약 76토큰을 생성했어요. IQ3_S는 두 조건에서 각각 약 53, 46토큰/초예요. 문서나 코드 이력을 처음 보낼 때는 32K 프롬프트 처리량도 함께 보면 첫 응답까지 입력을 읽는 시간을 비교할 수 있어요.

좌우로 밀어 표 전체를 비교하세요.

RTX 5070에서 양자화 크기별 공개 속도
모델 크기	짧은 대화 생성	128K 문맥 생성	32K 입력 처리	모델 RAM 권장
Q2_0	94 tok/s	76 tok/s	2,650 tok/s	48 GB
IQ2_XS	79 tok/s	63 tok/s	2,090 tok/s	48 GB
IQ3_S	53 tok/s	46 tok/s	1,620 tok/s	64 GB

측정 조건: RTX 5070 12GB, Ryzen 5 7600, RAM 64GB DDR5-5200, Windows. Q2_0은 Strata 0.1.36이고 IQ2_XS·IQ3 행은 0.1.26이에요. 생성 측정은 4K와 128K 프롬프트, 입력 처리량은 32K 기준이며 답변은 256토큰 생성 조건이에요. Strata 상세 측정표.

작업대에 개방형 케이스로 장착된 그래픽카드 두 장 — 공개 속도는 양자화 크기, 문맥 길이와 측정한 Strata 버전에 따라 달라져요.

설치 후 첫 응답을 확인해요

Windows에서는 Strata 파일을 내려받아 압축을 푼 뒤 START-HERE.bat을 실행하고, Linux에서는 프로젝트 폴더에서 ./setup.sh를 실행해요. 설치 프로그램에서 GPU를 감지하고 모델 크기, 문맥 길이, 이미지 입력 여부를 고르게 됩니다. RTX 5070과 64GB RAM이라면 IQ2_XS를 시작점으로 두고, 한국어 작업의 답 품질과 메모리 여유를 확인한 다음 IQ3_XXS나 IQ3_S를 비교할 수 있어요.

처음 설치할 때 모델 약 70GB를 내려받고, 첫 실행에서는 RAM으로 읽어들여요. 이때 PC 반응이 1~3분 늦어질 수 있으니 실행 창을 닫지 말고 진행 표시를 기다려요. 준비되면 브라우저에서 http://127.0.0.1:8080을 열어 짧은 질문을 보내세요. OpenAI 호환 앱의 base URL은 http://127.0.0.1:8080/v1이에요.

응답이 매우 느리고 디스크 사용이 계속되면 RAM 부족으로 전문가 일부를 SSD에서 읽는지 살펴보세요. 브라우저 등 다른 프로그램을 닫거나 더 작은 모델을 고르면 RAM 여유를 만들 수 있어요. 다운로드가 끊겼다면 시작 파일을 다시 실행해 이어받고, 8080 포트가 이미 사용 중이라는 메시지가 나오면 Strata 실행 창이 열려 있는지 확인하세요. 자세한 단계는 Windows·Linux 설치 가이드, 메모리 구성은 Strata 메모리 구성 가이드에서 볼 수 있어요.

용어 각주

런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기
VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기
GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기
시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기
CPU — 운영체제와 일반 프로그램 명령을 실행하고, AI에서는 전처리·데이터 이동 등 범용 연산을 맡는 중앙 처리 장치입니다.
본문으로 돌아가기
SSD — 플래시 메모리를 사용하는 데이터 저장 장치입니다. 전원이 꺼져도 데이터가 보존됩니다.
본문으로 돌아가기
MoE — 여러 전문가 하위망 중 일부를 입력에 따라 선택해 사용하는 모델 구조입니다. 총 파라미터 수와 한 토큰 처리에 활성화되는 파라미터 수는 다를 수 있습니다.
본문으로 돌아가기
PLE 임베딩 테이블 — Per-Layer Embedding의 약자로, 모델의 특정 층에 임베딩 정보를 더하는 구조입니다. Qwen Flash-Next 계열은 n-그램 테이블을 사용하며, 지원되는 실행 경로에서는 이 테이블을 RAM이나 SSD로 오프로딩할 수 있습니다.
본문으로 돌아가기
처리량 — 일정 시간 동안 처리하거나 생성한 작업량입니다. 토큰/초, 요청/초처럼 단위를 함께 확인해야 비교할 수 있습니다.
본문으로 돌아가기
프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기
토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: Strata는 질문과 선택적 이미지 입력을 받아 Qwen3.8-Flash-Next 답변을 만드는 Windows·Linux용 로컬 런타임이에요. RTX 5070은 VRAM 12GB라 GPU가 빠르게 접근할 전문가를 캐시하고, RAM은 전체 전문가와 실행 환경을 맡아요. RTX 5070·Ryzen 5 7600·64GB RAM 공개 기준에서 Q2_0은 짧은 대화 94 tok/s, 128K 문맥 76 tok/s였어요. RAM 32GB의 5070 구성에서는 Coder부터 살펴보고, Q2_0·IQ2_XS 저RAM 모드는 24GB GPU 조건에서 확인하세요.
필요한 메모리는 어느 정도인가요?: Strata는 텍스트 질문이나 선택한 이미지 입력을 받아 Qwen3.8-Flash-Next가 만든 답변을 브라우저 채팅이나 연결한 앱으로 보내는 Windows·Linux용 로컬 런타임이에요. RTX 5070은 12GB VRAM을 갖췄고, Strata는 GPU·시스템 RAM·CPU·SSD를 함께 사용해 125B 파라미터 MoE 모델을 실행해요.