실행 프로그램과 확장
최종 업데이트
Strata 양자화 선택: Q2_0·IQ2_XS·IQ3_S와 Coder 비교
RAM이 빠듯하면 작은 크기부터, 다국어와 일반 작업이 중요하면 전체 전문가를 유지하는 모델부터 시험해요.
Strata는 Qwen3.8-Flash-Next 원본 모델을 Q2_0·IQ2_XS·IQ3_XXS·IQ3_S 크기로 양자화1해 실행해요. 작은 파일은 더 적은 메모리를 쓰고 대체로 빠르며, 큰 크기는 더 많은 RAM2이 필요해요. Coder는 코딩 데이터에 맞춰 전문가 512개 중 256개를 제거한 모델이고, Swift 1.5는 답변 전 생각하는 시간을 줄인 미세조정판이에요. 32·48·64·96GB RAM 기준과 한국어·일본어 품질 요구를 함께 보고 직접 쓸 입력으로 골라요.
양자화 크기는 가중치 저장량과 메모리를 바꿔요
Strata의 양자화 모델은 Qwen3.8-Flash-Next의 가중치를 더 적은 비트로 저장한 파일이에요. 파일을 실행기에 불러오면 모델은 입력 토큰3을 받아 답변 토큰을 생성해요. Q2_0, IQ2_XS, IQ3_XXS, IQ3_S는 같은 원본의 서로 다른 압축 크기이며 Coder·Swift 1.5처럼 학습이나 전문가 구성이 달라진 변형 모델과는 구분돼요.
Strata 문서의 전체 모델 메모리 추정은 RAM과 VRAM4에 배치할 가중치 합계를 나타내요. 각 크기에서 전문가 가중치가 차지하는 용량과 시작 RAM을 표에서 비교해요.
좌우로 밀어 표 전체를 비교하세요.
| 모델 크기 | 가중치 합계 (RAM+VRAM) | 전문가 크기 | 시작 RAM |
|---|---|---|---|
| Q2_0 | 37.6 GB | 34 GB | 48 GB |
| IQ2_XS | 39.2 GB | 35.5 GB | 48 GB |
| IQ3_XXS | 47.0 GB | 43 GB | 64 GB |
| IQ3_S | 54.8 GB | 50 GB | 64 GB (다른 앱을 적게 열기) 또는 96 GB+ |
전문가 크기는 가중치 중 전문가 부분의 용량이에요. Strata의 RAM 추정에는 운영체제와 다른 프로그램을 위한 약 10GB가 더해져요. VRAM 24GB인 32GB PC는 저RAM 모드에서 Q2_0이나 IQ2_XS도 실행할 수 있어요.
resident와 mmap은 GPU 밖 전문가를 다르게 배치해요
한국어·일본어 작업에는 Coder의 범위를 고려해요
Coder는 코딩 데이터에 맞춰 각 층의 전문가 512개 중 256개를 남긴 IQ1_M 모델이에요. 전문가를 절반으로 줄이면 코드 외 작업과 영어 외 언어에서 성능이 약해질 수 있어요. 프로젝트 이슈에는 영어 코드 작업은 괜찮지만 중국어 출력이 잘못되거나 반복된 보고가 있어요. 한국어·일본어 문서와 일반 질문이 주 용도라면 Q2_0·IQ2_XS에도 같은 프롬프트7를 보내 결과를 비교해요.
코드 생성과 저장소 수정이 주 작업이고 RAM이 32GB라면 Coder를 후보로 볼 수 있어요. 전문가를 절반으로 줄인 만큼, 코드 외 작업이나 영어 외 언어에서 결과가 달라질 수 있어요.
채팅·번역·문서 요약도 자주 한다면 원본 모델과 Coder에 같은 질문을 보내 언어별 답을 비교하세요. Q2_0 저RAM 모드를 지원하는 24GB GPU가 있다면 코딩 외 작업에서도 원본 모델을 먼저 시험해 볼 수 있어요.
Swift 1.5는 답을 더 일찍 시작하도록 조정됐어요
Swift 1.5는 UkisAI가 Qwen3.8-Flash-Next를 미세조정한 변형이에요. 토큰을 생성하는 속도는 같은 크기의 원본과 비슷하지만 답변 전에 오래 생각하는 경향을 줄여 첫 답을 더 빨리 받을 수 있어요. Q2_0, IQ2_XS처럼 선택한 크기에 따라 원본과 메모리 요구량도 비슷하고, IQ3_S는 제공되지 않아요.
짧은 응답을 자주 요청해 답변 전 대기가 부담이라면 Swift 1.5를 시험해요. 복잡한 코딩·분석처럼 추론 내용이 결과에 중요한 작업이라면 동일한 질문을 원본과 Swift에 각각 보내고, 첫 토큰 대기와 답의 누락을 함께 비교해요. 모델 가중치는 Strata 코드와 별도의 라이선스를 따르므로 Swift 1.5 배포 페이지에서 조건을 읽어요.
내 질문으로 결과를 비교하고 파일 라이선스를 확인해요
짧은 질문, 평소 한국어·일본어 문서, 코딩 요청을 같은 순서로 보내고 모델 크기와 Strata 버전을 기록해요. RAM 사용량, 첫 답까지 걸린 시간, 답변 생성 속도, 작업에 필요한 내용이 들어 있는지를 각각 비교하면 모델이 내 용도에 맞는지 판단할 수 있어요. RTX 5070 한 대의 측정값을 다른 GPU나 모델 버전의 예상 속도로 바꾸지 않아요.
Strata 코드는 MIT License를 따르고, 모델 파일은 각 배포 조건을 따라요. Qwen 원본 페이지에는 Qwen Community License 1.0이 표시돼요.
Swift 1.5 페이지는 Swift 기여분에 Swift Open License 1.0을, 원본 Qwen 구성요소에 Qwen Community License 1.0을 안내해요. Coder 페이지 상단에는 Apache 2.0이 표시되지만, 본문 라이선스 절은 가중치가 원본 모델의 조건을 따른다고 설명해요.
Coder를 포함한 모델을 수정·재배포하거나 서비스에 쓰기 전에는 배포 페이지의 라이선스 절과 동봉된 NOTICE를 함께 읽어요. UD-Q4_K_XL은 실험 모델이에요.
용어 각주
양자화 — 모델의 가중치나 계산값을 더 적은 비트로 표현해 저장 공간과 메모리 사용량을 줄이는 방법입니다. 표현 단계가 거칠어져 정확도에도 영향을 줄 수 있습니다.
본문으로 돌아가기시스템 RAM — 프로그램이 실행되는 동안 데이터를 임시로 보관하는 시스템 메모리입니다.
본문으로 돌아가기토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기VRAM — 그래픽카드의 GPU가 사용하는 메모리입니다. 모델 가중치와 계산 중간값을 저장합니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기SSD — 플래시 메모리를 사용하는 데이터 저장 장치입니다. 전원이 꺼져도 데이터가 보존됩니다.
본문으로 돌아가기프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- Strata는 Qwen3.8-Flash-Next 원본 모델을 Q2_0·IQ2_XS·IQ3_XXS·IQ3_S 크기로 양자화해 실행해요. 작은 파일은 더 적은 메모리를 쓰고 대체로 빠르며, 큰 크기는 더 많은 RAM이 필요해요. Coder는 코딩 데이터에 맞춰 전문가 512개 중 256개를 제거한 모델이고, Swift 1.5는 답변 전 생각하는 시간을 줄인 미세조정판이에요. 32·48·64·96GB RAM 기준과 한국어·일본어 품질 요구를 함께 보고 직접 쓸 입력으로 골라요.
- 필요한 메모리는 어느 정도인가요?
- 전문가 크기는 가중치 중 전문가 부분의 용량이에요. Strata의 RAM 추정에는 운영체제와 다른 프로그램을 위한 약 10GB가 더해져요. VRAM 24GB인 32GB PC는 저RAM 모드에서 Q2_0이나 IQ2_XS도 실행할 수 있어요.
- 조건과 출처는 어디서 확인하나요?
- 짧은 응답을 자주 요청해 답변 전 대기가 부담이라면 Swift 1.5를 시험해요. 복잡한 코딩·분석처럼 추론 내용이 결과에 중요한 작업이라면 동일한 질문을 원본과 Swift에 각각 보내고, 첫 토큰 대기와 답의 누락을 함께 비교해요. 모델 가중치는 Strata 코드와 별도의 라이선스를 따르므로 Swift 1.5 배포 페이지에서 조건을 읽어요.