로컬 AI 가이드

로컬 AI 기술·구매 가이드

로컬 LLM부터 이미지·영상·음악 생성까지, 작업 방법과 모델 선택, 필요한 메모리와 장비 비용을 이해하기 쉽게 설명합니다.

지금 고민하는 것부터

로컬 LLM이란? 설치 방법·PC 사양·모델 선택부터 속도 확인까지

로컬 LLM의 뜻과 할 수 있는 일, Ollama·LM Studio 설치, RAM·VRAM 확인, 모델 선택을 정리했습니다. 내 컴퓨터에서 직접 질문하고 장비별 답변 속도도 비교해 보세요.

로컬 AI 음악 생성: 내 컴퓨터로 노래와 배경음악 만들기

내 PC나 맥으로 노래와 배경음악을 만들려면 무엇부터 고를까요? YuE2·ACE-Step·HeartMuLa의 쓰임, 가사와 프롬프트 준비, 메모리·생성 시간 확인과 결과를 다듬는 순서를 정리합니다.

ComfyUI 설치부터 첫 이미지까지: 모델·설정 파일·오류 해결

ComfyUI Desktop 설치, SD 1.5 모델 위치, 다운로드 가능한 512px 워크플로와 첫 실행 설정을 안내합니다. 모델 누락·메모리 부족 확인 순서도 담았습니다.

맥 미니 24GB와 32GB, 로컬 AI 때문에 더 써야 할까

맥 미니 메모리 옵션을 모델 크기만으로 고르지 않고 문서 길이, 함께 켜는 앱, 교체 비용으로 판단하는 구매 가이드입니다.

더 많은 시작 가이드

RTX 3090이 있는데, 로컬 AI 때문에 그래픽카드를 바꿔야 할까?

RTX 3090으로 Qwen3.8-27B를 실행하며 생기는 메모리 부족과 기다림을 줄여봐요. GPU 유지·추가·교체의 비용과 답변 속도를 비교해요.

PDF 요약용 로컬 AI, 메모리를 사기 전에 문서부터 확인하세요

PDF 요약이 느리거나 틀릴 때 OCR, 텍스트 추출, 문맥 길이, 검색 방식 중 어디를 확인할지 실제 작업 순서로 설명합니다.

로컬 코딩 AI용 컴퓨터, 자동완성과 에이전트는 다르게 고릅니다

코드 자동완성, 함수 수정, 저장소 작업을 구분해 로컬 코딩 모델과 장비를 고르고 테스트 완료까지 비교하는 방법입니다.

로컬 LLM 첫 실행이 느릴 때, 장비 탓하기 전에 볼 다섯 가지

로컬 LLM의 첫 실행이 느릴 때, 다운로드·모델 로딩·답변 생성 중 어디에서 기다리는지 화면 표시와 짧은 질문으로 구분해요.

ComfyUI용 GPU를 사기 전에, 만들 이미지 한 장부터 정하세요

로컬 이미지 생성 장비를 고를 때 기본 생성, 부분 수정, 확대를 분리하고 작업 전체의 시간과 메모리를 확인하는 방법입니다.

새 글 RSS 구독Google 선호 소스로 추가

이 목록을 보는 순서

하려는 작업부터 고르세요. 대화와 문서, 이미지·영상, 음악 생성 가이드에서 시작한 뒤 사용하는 모델에 맞춰 메모리와 실행 프로그램을 확인하면 됩니다.

새로 나온 모델

네모트론 3.5 Bolt, 74B 모델을 24GB로 돌릴 수 있다고?

74B-A9B Nemotron 3.5 Bolt의 IQ2_XXS 구성과 로컬 실행 경로, 24GB 표기의 범위와 실제 메모리 점검법을 설명해요.

LFM2.5-24B-A2B 로컬 LLM: 한국어 지원 24B MoE를 내 PC에서

Liquid AI의 LFM2.5-24B-A2B는 총 24B·활성 2.45B인 한국어 지원 MoE 모델이에요. 공식 GGUF·MLX 4비트 파일, 13만 1천 토큰 문맥, 제작사가 밝힌 M5 Max 184 tok/s 조건과 내 장비에서 확인할 항목을 정리합니다.

Flint 로컬 LLM: 오픈소스 코딩 에이전트 40B를 개인 PC에서 돌릴 수 있나

Recursive의 Flint는 총 39.8B·활성 2.5B인 코딩 에이전트 MoE 모델이에요. 공식 실행 환경은 SGLang과 B300·H200 GPU이고, quantized GGUF는 별도로 배포돼요. 제작사의 SWE-bench 점수 조건과 개인 장비에서 볼 항목을 정리합니다.

크래프톤 Raon-1 mini 로컬 LLM: 한국어 30B MoE를 RTX 5090 32GB로

크래프톤 AI가 처음부터 학습한 국산 한국어 로컬 LLM, Raon-1 mini는 총 30B·활성 4B MoE에 26만 2천 토큰 문맥을 갖췄어요. NVFP4로 RTX 5090 32GB 한 장에서 돌리는 조건과 게이트 승인, Apache 2.0, 미리보기 한계를 정리합니다.

DeepSeek-V4.1-Flash-1017: 다시 받을 파일과 실행 조건

1017은 API 이름과 가격을 그대로 두고 48개 샤드를 모두 바꾼 업데이트예요. 9월 체크포인트와 섞으면 오류 없이 다른 모델이 실행되므로, 다시 받을 범위와 현재 런타임 지원을 확인합니다.

DeepSeek 1017 vs Opus 5 vs GLM-5.3: 점수와 비용을 같이 봐요

같은 벤치마크에서 1017·Opus 5·GLM-5.3이 어디서 앞서는지, API 가격과 로컬 실행 조건이 선택을 어떻게 바꾸는지 정리합니다.

AstaBrief 8B: 로컬 AI로 논문 근거 보고서 만들기

AstaBrief 8B에 연구 질문과 검색된 논문 발췌를 넣고 인용 보고서를 작성하는 방법을 설명해요. 보고서의 인용을 원문으로 되짚고 공개 점수와 로컬 실행 메모리를 구분해 살펴봐요.

Xing4.0 로컬 실행: 코딩 모델 설치와 GPU·메모리 선택

Xing4.0-29B-A4B를 코딩 작업에 사용하는 방법을 설명해요. 토큰당 4B 활성 전문가와 29B 전체 파라미터, 공식 에이전트 평가 조건을 확인하고 GPU·문맥 길이·runtime을 계획해요.

Holo4 로컬 컴퓨터 조작: 모델·실행기·권한 경계

Holo4-27B와 Holo4-35B-A3B의 구조·라이선스·실행 경로를 구분하고, 화면 조작 에이전트를 안전하게 시험하는 절차를 안내합니다.

K2 Horizon 0.9B~36B-A4B: 내 장비에 맞는 모델 고르기

K2 Horizon 0.9B·3.7B·7B·32B·MoVA 36B-A4B의 문맥 길이, Q4 메모리, Mac·NVIDIA 장비별 선택과 속도 체감을 비교합니다.

MiMo V2.6 Pro·Flash 동시 공개: 성능은 어디까지 왔나

MiMo V2.6 Pro와 Flash의 1.02T·309B 희소 MoE 구조, 공식 코딩·에이전트 성능, 1M 문맥과 멀티모달 입력, 실제 실행 규모를 정리합니다.

Bonsai 2 27B: 6GB라는 숫자보다 먼저 볼 것

Bonsai 2 27B의 3값 가중치, 5.95GB와 7.21GB 파일 차이, 전용 런타임, RTX 4090·5090·M5 Pro 공개 속도를 실제 장비 선택 관점에서 정리합니다.

DeepSeek V4.1 Flash 로컬 실행: 552B보다 먼저 볼 숫자

DeepSeek V4.1 Flash의 552B 백본, 196B Engram, 475.2GiB 공식 체크포인트와 초기 로컬 런타임 지원을 구매 관점에서 정리합니다.

Ling-3.0-flash-VL 로컬 실행: INT4 70.87GiB부터 확인할 것

Ling-3.0-flash-VL의 124.85B 전체·5.1B 활성 구조, 256K 문맥, 멀티모달 범위와 공식 INT4·FP4 파일 및 초기 서버 런타임 조건을 정리합니다.

Qwen3.8-27B 공개: 32GB급 장비에서 돌릴 만할까

Qwen3.8-27B 오픈웨이트 모델의 27B 밀집 구조, Q4 메모리 요구량, 256K 문맥, 이미지·영상 입력과 MTP를 로컬 장비 선택 관점에서 정리합니다.

Qwen3.8-Flash-Next 공개: 활성 6B인데 왜 180B를 담아야 하나

Qwen3.8-Flash-Next의 180B 상주 가중치, 6B 활성 MoE, 51B PLE 테이블과 4B MTP를 구분하고 DGX Spark와 256GB 장비의 실행 가능성을 설명합니다.

Gemma 4 공개: 12B와 26B-A4B 중 내 장비에 맞는 모델

Gemma 4 오픈웨이트 모델의 12B 밀집형과 26B-A4B MoE를 중심으로 멀티모달 입력, 256K 문맥, Q4 메모리와 16GB·24GB 장비 선택을 설명합니다.

GLM-5.3·DeepSeek-V4 공개: 오픈웨이트인데 개인 PC에서 가능한가

GLM-5.3-Flash 320B와 DeepSeek-V4-Flash-0731 304B를 통해 오픈웨이트와 개인용 로컬 실행의 차이, 활성 파라미터, 분산 적재와 압축본 조건을 설명합니다.

먼저 읽기

중국 AI 수출 규제, OpenRouter에서 쓰던 모델은 어떻게 될까?

중국의 2026년 10월 AI 기술 수출 관리 개정안이 API 이용, 해외 호스팅, 공개 모델에 미칠 영향을 나눠 살펴봐요. 지금 가진 PC·Mac으로 로컬 LLM을 준비하는 방법도 연결해요.

RTX Spark 노트북, DGX Spark·맥북프로와 무엇이 다를까?

Windows on Arm과 CUDA를 갖춘 RTX Spark 노트북을 DGX Spark·MacBook Pro와 운영체제, 메모리, 실행 앱 기준으로 비교해요.

DeepSeek Harness: 1017을 붙여 쓰는 에이전트 하네스

dsh의 설치와 첫 실행, DeepSeek 키와 사용자 지정 API 연결, 로컬 OpenAI 호환 서버를 붙일 때 맞춰야 할 값과 0.2.1-rc 버전의 1017 지원을 정리합니다.

오픈웨이트 AI, 어디서 무료로 쓸까? API 서비스 5곳 비교

DeepSeek·GPT-OSS·Nemotron 등 오픈웨이트 모델을 무료로 써볼 수 있는 서비스 5곳을 비교해요. 무료 한도, 연결 방법, 데이터 처리 조건을 살펴보고 필요한 사용 가이드로 이동하세요.

맥 뉴럴엔진으로 로컬 AI를 돌릴 수 있나요? GPU·MLX와 역할 나누기

Apple Neural Engine이 음성인식과 LLM에서 하는 일, Core ML과 MLX 실행 경로, M5 GPU Neural Accelerators와의 차이를 정리해요.

로컬 RAG 구축 가이드: 내 문서에 답하는 AI를 만드는 순서

휴가 규정 PDF에서 질문에 맞는 문장을 찾고 답하는 예를 따라, 문서 추출부터 검색·답변 확인, 장비 선택까지 로컬 RAG 구축 순서를 설명합니다.

로컬 AI 에이전트란 무엇일까? 내 컴퓨터에서 돌릴 이유부터 살펴보기

로컬 AI 에이전트와 로컬 언어 모델은 같은 말이 아닙니다. 모델·에이전트 런타임·도구·데이터 경로를 나눠 보고, 반복 작업과 개인정보 요구에 맞는 구성을 판단합니다.

로컬 AI 에이전트용 PC 사양: 작업·문맥·상시 운영으로 고르기

에이전트 프레임워크와 모델 추론은 서로 다른 자원을 씁니다. RAM·VRAM·통합 메모리, 실제 컨텍스트, 도구 왕복과 상시 운영을 기준으로 지금 장비에서 가능한 구성을 확인합니다.

로컬 LLM이란? 설치 방법·PC 사양·모델 선택부터 속도 확인까지

PDF 요약용 로컬 AI, 메모리를 사기 전에 문서부터 확인하세요

PDF 요약이 느리거나 틀릴 때 OCR, 텍스트 추출, 문맥 길이, 검색 방식 중 어디를 확인할지 실제 작업 순서로 설명합니다.

로컬 코딩 AI용 컴퓨터, 자동완성과 에이전트는 다르게 고릅니다

코드 자동완성, 함수 수정, 저장소 작업을 구분해 로컬 코딩 모델과 장비를 고르고 테스트 완료까지 비교하는 방법입니다.

녹음 파일을 외부에 올리지 않고 한국어로 받아쓰기: whisper.cpp 첫 실행

맥이나 PC에서 한국어 녹음 파일 하나를 직접 문자로 바꾸고, 결과를 검토한 뒤 필요한 장비를 판단하는 순서입니다.

Granite 4.2 3B·8B·30B, 내 장비에는 어느 크기가 맞을까

IBM Granite 4.2 세 크기의 차이와 로컬 실행 조건을 실제 작업, 메모리 여유, 사고 싶은 장비 순서로 살펴봅니다.

로컬 LLM 장비 고르는 법: 메모리·속도·전력 기준

로컬 LLM 장비를 고를 때 VRAM과 통합 메모리, 프리필, 토큰 생성 속도, 전기요금과 TCO를 어떤 순서로 봐야 하는지 설명합니다.

프리필·디코드 차이: TTFT와 tok/s 중 무엇을 봐야 하나

긴 문서 요약은 프리필과 TTFT를, 긴 답변 생성은 디코드 tok/s를 먼저 봐야 합니다. 세 지표가 실제 대기 시간을 어떻게 나누는지 설명합니다.

llmfit: 내 맥에서 돌아갈 모델부터 걸러요

llmfit은 CPU·메모리·GPU를 감지해 그 기기에서 실행 가능한 모델과 양자화를 점수순으로 보여주는 터미널 도구예요. 예측에 쓴 전제를 함께 보여주고, bench로 실측값을 재서 다시 기여할 수 있어요.

LFM3-1.7B: 1.1GB 모델로 맥에서 에이전트 돌리기

LFM3-1.7B는 4비트에서 1.1GB인 에이전트용 텍스트 모델이에요. 256K 문맥과 128K에서 1.6GB인 KV 캐시, 맥에서 잰 작업 성공률 64%를 조건과 함께 정리해요.

모델별 실행 레시피

OpenRouter가 안 될 때, 쓰던 앱을 로컬 LLM으로 바꾸려면?

LM Studio에서 호환 모델을 미리 준비하고 로컬 API 서버를 켠 뒤, 앱에 별도 로컬 프로필을 만들어 새 대화에서 코드 리뷰를 이어가는 순서예요.

RTX 3090·5090에서 Nemotron Bolt를 어떤 설정으로 실행할까?

RTX 5090의 공식 32GB+ 프로필과 RTX 3090의 CPU/RAM 우선 시험부터 메모리 점검까지 안내해요.

DeepSeek V4.1 Flash 무료로 쓰려면? OpenCode 연결 방법

OpenCode의 DeepSeek V4.1 Flash Free를 선택하고 코드 리뷰에 연결하는 방법을 알아보세요. 무료 모델 ID, 한시 제공 조건, 자동 충전과 데이터 처리 정책까지 정리했어요.

OpenRouter 무료 오픈 웨이트 모델로 코드 리뷰 API 연결하기

OpenRouter에서 Llama 3.3 무료 변형을 골라 공개 코드 조각을 리뷰하는 API를 연결해요. 무료 요청 한도, 과금 방지, 제공자별 데이터 정책과 오류 점검까지 따라가요.

Groq 무료 API로 GPT-OSS 써보기: 계정부터 첫 응답까지

GroqCloud 무료 API에서 공개 가중치 모델 GPT-OSS를 호출하는 방법을 안내해요. 계정과 API 키 준비, Free Plan 한도, Python 요청, 응답 확인과 오류 점검까지 따라가요.

NVIDIA Nemotron 무료 API 체험: 개발용 endpoint로 첫 요청 보내기

NVIDIA API Catalog의 무료 Nemotron endpoint를 개발·시험용으로 호출해요. API 키 준비, Python 요청, 응답 확인, 사용 범위와 입력 데이터 조건까지 안내합니다.

Mistral Studio 무료 API 시작: Small 4 요청 보내기

Mistral Studio Free mode에서 공개 가중치 모델 Small 4 API를 시험해요. API 키 발급, Python SDK 호출, 사용 제한, 입력 데이터 학습 설정을 안내해요.

TRELLIS.2로 사진 한 장에서 3D 에셋 만들기

TRELLIS.2로 사진 한 장을 재질이 포함된 GLB 모델로 변환해요. Linux·NVIDIA 24GB 이상 실행 조건, 모델 설치, 입력 사진 경로와 Blender에서 결과를 여는 순서를 안내해요.

한국어 문서 검색에는 어떤 임베딩을 쓸까? Qwen3·BGE·EmbeddingGemma 2 비교

같은 PDF와 질문으로 Qwen3-Embedding, BGE-M3, EmbeddingGemma 2의 검색 품질·색인 시간·벡터 크기를 재고 리랭커 지연까지 비교해요.

글·사진·영상·녹음을 한 색인에서 검색하기, Jina v5 Omni

Jina v5 text-small과 omni-small의 공통 공간을 사용해 텍스트 문서를 유지하면서 이미지·영상·오디오 질의를 더하는 과정을 안내해요. 라이선스와 저장량도 확인해요.

작은 모델로 영어 문서를 검색하기, UIBK-Embedding-v1

영어 문서에서 dense 검색과 late interaction을 결합하는 UIBK-Embedding-v1을 소개하고, 문서 수가 늘 때 검색 품질·저장량을 기록하는 방법을 안내해요.

OCR 없이 PDF 페이지를 찾는 ColPali·ColQwen 가이드

ColPali 계열이 PDF 페이지 이미지를 검색하는 방식과 OCR·텍스트 추출과의 차이, 실제 문서 평가 방법을 설명해요.

PaddleOCR-VL 1.6으로 PDF를 구조화하는 법

PaddleOCR-VL 1.6의 PDF 파싱 절차를 설치·입력·출력 기준으로 살펴보고, 구조화 검색과 페이지 검색의 차이를 구분해요.

llama.cpp에서 Julia·Laya·Kev 결정 모델 비교하기

Julia-1, Laya, Kev-4B를 동일한 티켓 묶음에 적용하고, /v1/systemone으로 구조화된 결정을 비교하는 방법을 안내해요.

GLiNER2.5로 영어 문장에서 필드를 JSON으로 추출하기

GLiNER2.5 영어 base 체크포인트를 로컬에서 실행하고, 고객지원 문장의 제품명·오류 코드·문제 내용을 원문과 함께 JSON으로 저장해요.

UltraBERT-Embed-150M으로 영어 문서 검색하기

영어 전용 UltraBERT 임베딩 체크포인트의 입력 길이·라이선스·검색 평가 방법을 설명하고, 기반 모델과 임베딩 모델을 구분해요.

n8n과 Ollama로 로컬 AI 업무 자동화 시작하기

n8n은 파일 읽기, PDF 텍스트 추출, 로컬 LLM 요약, 결과 저장을 연결하는 자동화 도구예요. Docker의 n8n과 Mac에서 기본 실행하는 Ollama를 연결해 먼저 수동으로 시험하고, 안전한 결과를 확인한 뒤 일정 실행을 추가해요.

LangGraph와 로컬 LLM 작업을 저장하고 이어 가기

LangGraph 체크포인터와 Ollama 모델을 연결해 문서 질문 흐름의 상태를 저장해요. 같은 thread_id로 후속 질문을 보내면 대화 상태가 이어지고, SQLite 파일을 사용하면 프로세스를 다시 시작한 뒤에도 체크포인트를 불러올 수 있어요.

한국어 LoRA SFT 예제: 데이터·실행·평가

한국어 요청·답변을 JSONL로 준비하고 TRL·PEFT로 LoRA를 학습해요. 어댑터 저장부터 별도 질문으로 학습 전후 결과를 비교하는 법, 최신 모델 선택 기준까지 정리했어요.

GraphRAG란? 여러 문서의 관계를 찾는 원리와 Neo4j 예제

계약서와 변경 공지에 나뉜 정보를 연결하려면 무엇이 필요할까요? GraphRAG의 검색 원리를 알아보고, 가상의 회사 세 곳으로 관계 그래프를 만들어 답을 찾는 과정을 따라가요.

한국어 PDF 검색에 임베딩과 리랭커 붙이기

같은 문서와 질문으로 BGE-M3 임베딩 검색의 상위 후보를 만든 뒤 BGE 리랭커 v2-m3로 다시 정렬해요. 검색 전후의 관련 문서 순위와 지연을 비교해 임베딩과 리랭커가 내 PDF에서 도움이 되는지 판단할 수 있어요.

로컬 코딩 에이전트 작업 하네스 설계 예제

로컬 코딩 에이전트의 수정 범위와 테스트를 작은 JavaScript 예제로 연결해요. 지침 파일, 실행 권한, 실패한 테스트와 수정 후 결과를 한 작업에 묶고 마지막 diff는 사람이 검토해요.

CMP 170HX 메모리 해제, 어떻게 시작할까?

cmpunlocker 유지보수자 README 기준으로 Linux x86-64 설치 전제, 8GB·10GB 프로필 선택, 재부팅 뒤 용량·PCIe 확인, 제거와 롤백 절차를 안내합니다.

CMP 170HX에서 Qwen3.8-27B를 가장 빠르게 실행하려면?

CMP 170HX 한 장에서 측정한 vLLM DFlash2와 open-jet megakernel 결과를 조건별로 비교하고, 재현 가능한 Qwen3.8-27B 실행 경로와 입력 길이 한계를 정리합니다.

Qwen3.8 27B를 7.89GB로? Saluki 설치와 8GB GPU 실행 조건

Underdog Saluki 27B는 Qwen3.8-27B를 7.89GB GGUF로 줄인 모델이에요. Mac·NVIDIA에서 설치하고 첫 답을 받는 방법, 8GB GPU의 메모리 여유, 도구 호출과 이미지 입력을 정리했어요.

Windows·Linux에서 Strata 설치하고 첫 질문 보내기

Strata 0.1.43 설치 전 GPU 드라이버와 디스크 공간을 확인하고 Windows의 START-HERE.bat 또는 Linux의 setup.sh로 모델을 준비해요. 첫 질문과 정상 결과, 다운로드·포트·메모리 오류의 첫 점검을 안내해요.

Ollama에서 Jev 실행하기: 문장 대신 분류와 확률 받기

Ollama 0.35.0의 /v1/systemone으로 Nimble·Tev 모델에 선택·참거짓·점수 질문을 보내고, 응답 확률을 티켓 분류에 연결하는 방법을 설명합니다.

Mac 여러 대로 로컬 LLM 돌리기: MLX·JACCL 연결과 속도

MLX·MLX-LM·JACCL로 여러 Mac에 모델을 나눠 실행하고 연결과 속도를 확인해요. Thunderbolt RDMA 준비와 M5 Ultra의 Muse Spark Open 측정을 구성별로 설명해요.

Qwen3-Omni 로컬 실행 조건: 음성·영상 경로 확인

Qwen3-Omni의 thinker·talker 구조, 음성 및 영상 입력 경로와 메모리 조건을 확인하고 짧은 로컬 테스트를 설계합니다.

DGX Spark에서 llama.cpp MTP 서버 열기: Qwen3.6 에이전트 요청

DGX Spark에서 CUDA용 llama.cpp를 빌드하고 Qwen3.6-35B-A3B MTP GGUF를 OpenAI 호환 endpoint에 연결합니다. thinking 기록을 보존하는 대화 설정과 정상 응답, 메모리·연결 문제를 확인합니다.

LFM2.5-VL-3B DSpark: 맥에서 이미지 답변을 2배 이상 빠르게 만드는 법

LFM2.5-VL-3B의 OCR·이미지 이해 용도, M5 Max·M3 Ultra 공식 DSpark 속도와 MLX-VLM·llama.cpp·SGLang 실행 조건을 정리합니다.

MLX-LM 3B 모델 실행과 속도 읽기: 첫 로딩, 프리필, 디코드, KV 캐시

공식 MLX-LM 기본 3B 4비트 모델을 별도 Python 환경에서 실행하고, 모델 로딩·입력 처리·토큰 생성·메모리 압력을 나누어 확인합니다. 실측 없이 속도 순위를 단정하지 않습니다.

AMD Radeon에서 PyTorch ROCm 설치와 GPU 작동 확인하기

RX 9070 XT와 Ubuntu 사례로 AMD 공식 PyTorch 경로, torch.cuda와 HIP의 관계, GPU 탐지 및 실제 이미지 작업 검증 순서를 살펴봅니다.

Qwen-Image 2.1 GGUF 다운로드: Q4_K_M·Q8_0와 VAE 고르기

Unsloth Qwen-Image 2.1 GGUF의 Q4·Q8 용량, 인코더와 전용 VAE, stable-diffusion.cpp 실행 명령을 정리합니다. 12~16GB 메모리 절약과 Mac 실행 시 주의점도 확인하세요.

MiniCPM5-2B Q4_K_M을 로컬에서 실행하는 안전한 시작점

공식 GGUF 파일을 내려받아 4,096 토큰 문맥으로 로컬 서버를 열고, MLX와 DSpark를 서로 다른 실행 경로로 구분하는 안내입니다.

Qwen3.8-27B 장비별 실행: Mac oMLX·RTX llama.cpp

Qwen3.8-27B를 Apple Silicon 맥의 oMLX와 RTX의 llama.cpp에서 실행하고, 입력·메모리·MTP·INT8 프리필 설정을 조건에 맞춰 비교해요.

Qwen3.8 Flash-Next DGX Spark 설정: SGLang·PLE·MTP 레시피

단일 DGX Spark에서 Qwen3.8 Flash-Next를 실행하기 위한 SGLang, PLE 오프로드와 MTP 설정을 재현 순서대로 정리합니다.

Gemma 4 12B 서빙 설정: Q4 데스크톱과 BF16 서버

Gemma 4 12B 모델의 16GB~24GB 단일 GPU 및 Mac 데스크톱 서빙 방법, Q4 GGUF 및 공식 google/gemma-4-12B-it 가중치 설정, 8K 안전 컨텍스트와 API 검증을 안내합니다.

Gemma 4 26B-A4B MTP: 한 명과 여러 요청에서 달라지는 속도

Gemma 4 26B-A4B의 전체 가중치·MTP 보조 모델을 구분하고, MLX-VLM에서 단일 요청과 여러 요청의 처리 시간을 비교하는 방법을 설명합니다.

Qwen3.6 35B-A3B 실행 설정: Mac·RTX·DGX Spark NVFP4

DGX Spark 공식 vLLM 컨테이너에서 Qwen3.6-35B-A3B NVFP4 모델을 로드하고 OpenAI 호환 endpoint를 확인합니다. 단일 Spark 기준과 다중 Spark 경로, 메모리 설정을 구분합니다.

GLM-5.3-Flash 서빙 가이드: 320B 서버급 MoE 레시피

총 320B(18B 활성) GLM-5.3-Flash 공식 체크포인트를 여러 가속기에서 서빙하는 vLLM·SGLang 설정과, 압축 변환본을 검토할 때의 메모리 조건을 구분합니다.

DeepSeek-V4-Flash 서빙 가이드: 304B 분산 레시피

총 304B(13B 활성) DeepSeek-V4-Flash-0731의 공식 4×GB300 vLLM 경로, 16K 시작 문맥 및 로컬 API 확인 절차를 정리합니다.

카카오 Kanana-2 3B 임베딩으로 한국어 RAG 색인 만들기

2,560차원·4,096토큰, 128차원까지 줄이는 MRL. 한국어 검색 점수와 벡터 저장량을 계산하고 맥에서 색인을 만드는 순서를 정리했어요.

Frigate로 CCTV 사람 감지: N100·코랄·맥 중 무엇으로 돌릴까

카메라 영상을 집 안에서만 처리하는 NVR이에요. H.264 서브스트림 조건, Coral·OpenVINO·애플 실리콘 감지 장치, N100과 미니 PC의 처리량 차이를 정리했어요.

ESPHome로 음성 비서 만들기: ESP32-S3 마이크와 웨이크워드 설정

마이크가 달린 ESP32 보드를 홈 어시스턴트 음성 비서 기기로 바꾸는 과정이에요. 보드 선택, 마이크·스피커 연결, 온디바이스 웨이크워드와 자원 한계를 정리했어요.

Frigate 감지를 홈 어시스턴트 알림으로: MQTT 연결부터 조건까지

사람이 잡히면 휴대폰으로 알림을 받는 구성이에요. Frigate에 MQTT를 켜고 통합을 설치한 뒤, 구역과 사람 조건으로 알림을 좁히는 순서를 정리했어요.

이미지·영상 생성

FLUX.3 Klein으로 내 PC에서 첫 이미지 만들기

ComfyUI에서 FLUX.3 Klein distilled INT8 모델을 준비하고 첫 PNG를 저장해요. 필요한 인코더·VAE 파일과 워크플로, 프롬프트 입력 순서도 안내해요.

FLUX.3 Klein, 8GB에서 돌아갈까? 5090·5070·Spark 생성 시간

FLUX.3 Klein의 8GB INT8 실행 조건과 해상도·단계 수를 살펴봐요. RTX 5090·5070·4070, PRO 6000과 DGX Spark의 공개 생성 시간도 비교해요.

FLUX.3 Klein으로 참고 사진을 편집하고 배치 맞추기

FLUX.3 Klein과 ComfyUI의 Image Edit로 사진을 수정해요. 여러 참조 이미지의 순서, 바운딩 박스 좌표와 프롬프트를 맞춰 원하는 위치에 요소를 배치하는 방법을 안내해요.

Z-Image-Turbo로 로컬에서 이미지 한 장 만들기

Z-Image-Turbo를 공식 Diffusers 경로로 설치하고 1024×1024 PNG를 저장해요. CUDA 환경, 16GB 메모리 기준과 9단계·guidance 0 설정을 함께 안내해요.

LTX-2.5를 로컬에 설치하고 첫 영상 만들기

LTX 2.5의 공식 Python 파이프라인으로 짧은 영상을 만들어요. 약 66GiB 모델 파일과 전용 인코더·VAE를 준비하고 프레임 수, 오프로딩과 저장 결과를 확인해요.

LTX Retake·Dub-It 기능 선택 가이드: 구간 편집과 대사 변경

LTX Retake로 고칠 영상 구간을 정하고 Dub-It의 음성 편집 경로를 살펴봐요. 입력 프레임·해상도 조건과 2.5·2.3용 모델 차이를 비교해 필요한 파이프라인을 골라요.

MMAudio로 로컬 영상에 효과음 붙이기

MMAudio에 짧은 영상과 장면 설명을 넣어 발소리·효과음을 만들어요. 공식 저장소 설치부터 입력 영상 준비, FLAC 음원과 소리가 합쳐진 MP4 저장까지 안내해요.

월드 모델이란? 내 컴퓨터에서 AI가 다음 장면을 만드는 방법

월드 모델은 현재 화면과 행동 입력으로 다음 화면이나 상태를 예측해요. Matrix-Game, DIAMOND, LingBot-World, Cosmos, GameCraft, Oasis의 입력·출력과 로컬 실행 경로를 비교해요.

RTX 5090에서 Matrix-Game 4.0 로컬 브라우저 데모 실행하기

Linux RTX 5090에 Matrix-Game 4.0을 설치하고 Ancient Egypt 모델·게임 자산을 받아 로컬 브라우저 데모를 실행해요. PyTorch CUDA와 MediaMTX를 준비하고 첫 화면을 확인하는 과정을 안내해요.

Oasis 500M 로컬 실행: 이미지와 행동 파일로 게임 영상 만들기

Linux NVIDIA CUDA 환경에서 Oasis 500M과 ViT-VAE 가중치를 준비하고 시작 이미지를 이어 `video.mp4`를 생성해요. 공개 체크포인트 이용 동의, 샘플 행동 파일, 사용자 입력 교체, CUDA 오류 점검까지 안내해요.

Mac에서 DIAMOND 실행하기: CSGO 월드 모델을 MPS로 조작하는 법

DIAMOND의 CSGO 브랜치를 Apple Silicon Mac에서 실행해 입력을 보내고 생성된 게임 화면을 조작해요. 저장소 구분, 설치 명령, Atari ROM 사용 조건과 첫 실행 점검을 안내합니다.

Mac에서 LingBot-World V2 실행하기: 사진과 카메라 경로로 영상 만들기

PandacatAI의 MPS 포크에서 이미지·카메라 경로·프롬프트를 넣어 MP4를 만드는 설치 레시피예요. 체크포인트를 구성하고 480×832 영상 생성 명령과 저장 파일을 확인합니다.

DGX Spark에서 Cosmos 3 Edge로 이미지를 짧은 영상으로 만들기

Cosmos 3 Edge의 이미지와 JSON 프롬프트로 MP4를 만드는 흐름을 DGX Spark에서 따라가요. ARM64 컨테이너, 로컬 API, 입력 파일, 공개 생성 시간을 구분해 확인합니다.

24GB GPU에서 Hunyuan-GameCraft로 조작 영상을 생성하기

Hunyuan-GameCraft의 참조 이미지와 키 입력을 영상으로 생성하는 방법을 안내해요. Linux·CUDA 설치, 공식 24GB CPU 오프로딩 경로, 체크포인트와 저장 파일을 차례로 확인합니다.

Qwen-Image-2.1-Turbo, 8단계로 이미지를 만들려면? 설치와 편집 방법

Qwen-Image-2.1-Turbo의 지원 Diffusers 경로를 설치하고, 저장된 8단계 스케줄로 이미지를 만들거나 참조 이미지를 편집하는 방법을 안내합니다.

Mac에서 FLUX.2 Klein으로 참조 이미지 편집하기

MFLUX의 MLX 경로에서 FLUX.2 Klein을 설치하고 참조 이미지 편집을 실행합니다. 모델 크기·라이선스·입력 이미지·정상 결과와 첫 오류 점검을 정리합니다.

RTX 5090으로 오래된 영상을 복원하기: SwiftVR 로컬 시작 가이드

SwiftVR의 영상 복원 기능을 RTX 5090에서 준비하고 실행하는 방법을 안내합니다. 1080p FPS, H100 결과, LightX2V의 별도 가속 수치를 구분해 읽고 복원 결과와 실제 파일 처리 시간을 확인합니다.

Pruna-Qwen-Image-2.1 로컬 실행: 5·8단계 어댑터와 품질 선택

Qwen-Image-2.1 기반 few-step LoRA를 CUDA와 Diffusers에서 실행합니다. 5단계 속도와 8단계 품질의 차이, 공식 H100 비교 조건, 실행 코드와 라이선스를 확인하세요.

Qwen-Image 2.1, 내 컴퓨터에서 이미지 생성과 편집을 함께

Qwen-Image 2.1의 생성·편집 기능과 Mac·NVIDIA 실행 경로를 정리합니다. LightX2V의 2026년 9월 20일 day-0 지원, RTX 5090 측정 조건, 투명 배경·참조 이미지 사용법과 연구용 라이선스까지 설명합니다.

ComfyUI 설치부터 첫 이미지까지: 모델·설정 파일·오류 해결

ComfyUI Desktop 설치, SD 1.5 모델 위치, 다운로드 가능한 512px 워크플로와 첫 실행 설정을 안내합니다. 모델 누락·메모리 부족 확인 순서도 담았습니다.

ComfyUI용 GPU를 사기 전에, 만들 이미지 한 장부터 정하세요

로컬 이미지 생성 장비를 고를 때 기본 생성, 부분 수정, 확대를 분리하고 작업 전체의 시간과 메모리를 확인하는 방법입니다.

LLaDA-Image로 사진을 만들고 고치기: Base와 Turbo를 고르는 순서

LLaDA-Image Base와 Turbo의 생성·편집 과정을 직접 비교하고, 작업이 되기 전에 장비부터 사지 않도록 확인할 조건을 정리했습니다.

Wan-Animate-2로 사진을 움직이려면: 영상 한 편보다 먼저 확인할 것

참조 사진과 동작 영상으로 캐릭터를 움직이는 Wan-Animate-2의 입력, 실행 경로, 하드웨어 판단 순서를 설명합니다.

로컬 이미지 생성: 프로그램·PC 사양·첫 이미지 만들기

내 PC에서 AI 이미지를 만들려면 무엇부터 준비할까요? ComfyUI 설치, 이미지 모델 선택, VRAM 확인과 첫 생성부터 장비 비교까지 순서대로 설명합니다.

FLUX·Qwen 이미지 모델, 로컬 작업별 선택법

FLUX.2 Klein·Dev와 Qwen-Image-2512를 빠른 시안, 글자 표현, 참고 이미지 편집과 정밀 결과 기준으로 구분해 설명합니다.

로컬 영상 생성: 실행 방법과 필요한 PC 사양

텍스트→영상과 이미지→영상의 차이, 모델·VRAM·프레임 수·영상 길이를 정하는 순서를 설명합니다. 짧은 클립부터 실행하고 장비별 생성 시간을 비교해 보세요.

Wan 2.2와 MiniMax 영상 모델, 로컬 작업별 선택법

Wan 2.2 TI2V-5B·T2V-14B와 MiniMax H3-Base의 특징, 카메라 모션, 오디오 동시 생성과 필요 메모리 기준을 설명합니다.

ComfyUI 사양: VRAM 8·12·16·24GB에서 할 수 있는 작업

ComfyUI용 GPU를 고를 때 VRAM별 시작할 작업, 해상도·배치·오프로딩의 차이를 비교합니다. 모델 파일 크기와 실제 최대 메모리를 혼동하지 않는 기준입니다.

로컬 음악 생성

Mac을 실시간 AI 음악 악기로 쓰기: Magenta RealTime 2

Magenta RealTime 2를 Apple Silicon Mac에 설치하고 MIDI 입력으로 실시간 반주를 만들어 봅니다. DAW 연결, 48kHz 설정, 모델 크기별 지원 Mac, 제어 지연과 전체 곡 생성의 차이를 설명합니다.

ACE-Step 곡을 DAW에서 만들고 수정하기: VST3 로컬 가이드

독립 C++ 구현인 acestep.vst3를 빌드하고 로컬 서버와 DAW에 연결해 8-step Turbo 곡을 만들어 봅니다. 모델 파일, 호스트 연결, 설치 오류와 VAE 측정 범위를 구분합니다.

로컬 AI 음악 생성: 내 컴퓨터로 노래와 배경음악 만들기

YuE2 로컬 음악 생성 가이드: 가사에서 보컬곡과 편곡 만들기

YuE 저장소의 현재 기본 버전인 YuE2를 Linux와 NVIDIA GPU에 설치하고, 가사와 스타일로 노래를 만들고, 편집 가능한 악보와 생성 파일을 검토하는 방법을 설명합니다.

ACE-Step 1.5 로컬 음악 생성: 설치부터 첫 곡까지

ACE-Step 1.5를 내 컴퓨터에서 실행하고 가사·스타일 태그·길이를 조절하는 안내입니다. ACE Studio와의 차이, Mac·NVIDIA 메모리 조건, 공식 속도 수치의 전제도 구분합니다.

로컬 음악 생성 모델 비교: 노래, 연주곡, 효과음

ACE-Step, HeartMuLa, YuE2, Stable Audio Open, MusicGen은 같은 일을 하는 모델이 아닙니다. 가사곡, 연주 구간, 효과음이라는 작업 목표에 따라 기능·하드웨어·라이선스를 비교합니다.

로컬 음악 생성 속도와 하드웨어 비교: RTF를 제대로 읽는 법

YuE, ACE-Step, HeartMuLa, Stable Audio Open, MusicGen의 공식 속도 근거와 실행 경로를 구분하고, 내 장비에서 공정하게 음악 생성 시간을 재는 방법을 안내합니다.

로컬 음성 인식·합성

Nemotron 3.5 ASR로 한국어 실시간 전사와 텍스트 저장하기

Nemotron 3.5 ASR와 NeMo-Speech.cpp로 한국어 마이크 입력을 실시간 전사하고 최종 텍스트를 저장해요.

Moonshine으로 GPU 없이 영어 음성을 실시간 받아쓰기

Moonshine Voice의 CPU 기반 마이크 전사를 설치하고 짧은 영어 문장을 확인해요. 한국어 모델의 스트리밍 지원과 라이선스도 구분해요.

WhisperX로 한국어 자막 싱크와 화자 표시 맞추기

WhisperX에서 한국어 음성을 전사하고 단어별 시각을 정렬한 뒤 SRT로 저장해요. 화자 분리 모델 접근 동의와 실제 오디오 대조 과정도 설명해요.

Supertonic 3로 GPU 없이 한국어 음성 파일 만들기

Supertonic 3의 공개 ONNX 모델을 CPU에서 실행해 한국어 WAV를 저장해요. 고정된 모델 자산을 준비하고 프리셋 목소리를 골라 합성하는 순서를 안내해요.

Granite Speech 5 TurboCTC로 영어 음성을 텍스트로 바꾸기

IBM Granite Speech 5.0 TurboCTC의 입력과 출력을 짚고, 공식 모델 카드의 로컬 실행 예제를 시작점으로 삼아요.

VoxCPM2로 한국어 음성 만들기: 30개 언어 TTS

VoxCPM2의 한국어 TTS, 48 kHz 출력과 CUDA 중심 설치 조건을 확인하고 공식 모델 카드 예제로 첫 WAV를 만들어요.

OmniVoice로 한국어 음성 만들기: 600개 이상 언어·방언 지원

OmniVoice의 텍스트 입력, 음성 출력, 언어·화자 옵션을 정리해요. Apache 2.0 코드와 비상업 가중치 조건도 분리해 확인해요.

Fish Audio S2 Pro로 표현을 살린 음성 합성

Fish Audio S2 Pro로 감정과 말투를 조절한 음성을 만들어요. Linux·WSL의 CUDA 설치, 참조 음성 준비와 whisper·excited 태그 비교, WAV 저장 및 연구용 라이선스를 안내해요.

Pocket TTS로 CPU에서 음성 만들기: 6개 언어 지원

Pocket TTS를 CPU에서 실행해 WAV를 만드는 방법과 현재 지원 언어를 확인해요. 한국어·일본어 지원 여부도 분명히 짚어요.

SAM Audio로 녹음에서 목소리와 소리 분리하기

SAM Audio의 텍스트·구간·영상 단서를 사용해 녹음에서 원하는 소리를 분리하는 흐름과 접근 조건을 안내해요.

Fish Audio Drama 3로 두 화자의 대사를 한 WAV로 만들기

Fish Audio Drama 3에 화자 태그가 있는 대본과 각 화자의 참조 음성·전사를 넣어 한 파일의 다중 화자 WAV를 만드는 과정을 안내해요.

맥에서 한국어 녹음 받아쓰기, WhisperKit으로 시작하려면?

WhisperKit의 다국어 Core ML 모델로 Mac에서 녹음을 글로 바꿔요. 설치, 첫 받아쓰기, 긴 파일 처리와 뉴럴엔진 실행 확인을 안내해요.

FluidAudio란? 맥 뉴럴엔진으로 받아쓰기·화자 구분·음성 만들기

FluidAudio의 Core ML 음성 모델로 로컬 받아쓰기, 화자 구분, Kokoro 음성 생성을 시작해요. 언어 지원과 CPU·GPU·ANE 실행 경로도 정리해요.

LocalAI 4.11로 회의 녹음에서 화자 이름과 주변 소리 확인하기

LocalAI 4.11의 Studio에서 회의 녹음을 전사하고 화자 목소리를 직접 등록해 다음 녹음에서도 이름을 확인하는 흐름을 안내해요. 음향 장면 기능으로 기침·박수 같은 소리 이벤트를 함께 확인하는 방법과 재시작·공유 서버의 조건도 살펴봐요.

AuK로 음성 편집하기: 녹음한 문장 수정·잡음 제거·TTS

AuK에 지시문과 선택적 음성 파일을 넣어 TTS, 음성 편집, 노이즈 정리와 분리를 실행합니다. 필수 Qwen2.5-Omni-3B 인코더의 별도 라이선스와 공식 메모리 측정 조건도 확인해요.

Orukeet 로컬 전사 가이드: 영어·유럽어 음성을 Mac에서 받아쓰기

Orukeet ASR을 Mac·CPU·CUDA에서 설치해 오디오 파일을 텍스트로 전사하는 방법을 안내해요. 25개 지원 언어에 한국어가 없다는 점, NeMo·ONNX·native 가중치 라이선스와 공식 FLEURS 평가 조건을 구분합니다.

Phonon 2 로컬 영어 음성 받아쓰기 가이드

Phonon 2와 Fermion CLI를 설치하고 영어 녹음을 텍스트와 단어별 타임스탬프로 변환해요. 첫 모델 다운로드, JSON 출력, 파일 형식과 설치 오류 점검도 설명합니다.

로컬 음성 비서 만들기: ASR·LLM·MCP·TTS 연결 가이드

음성을 글로 바꾸고 로컬 LLM이 판단한 뒤 MCP 도구를 실행하고 다시 음성으로 답하는 파이프라인과 지연·보안 기준을 설명합니다.

로컬 AI 음성 인식 가이드: 내 PC에서 받아쓰기

녹음 파일을 인터넷에 올리지 않고 받아쓰려면 무엇을 설치해야 할까요? Whisper, faster-whisper, whisper.cpp, Qwen3-ASR의 언어 지원과 Mac·NVIDIA·CPU 실행 경로, 속도 측정 기준을 설명합니다.

Qwen3-ASR와 Whisper 비교: 어떤 로컬 받아쓰기를 고를까?

한국어·영어·일본어와 세계 여러 언어를 위한 로컬 ASR을 비교합니다. Qwen3-ASR, Whisper Turbo, Nemotron 3.5의 언어 범위와 실행 경로, 라이선스, 서로 다른 속도 지표를 구분합니다.

로컬 회의록 만들기: 전사·타임스탬프·화자분리

회의 녹음을 로컬에서 받아쓰고 발화 구간과 화자를 정리하는 흐름을 설명합니다. 전체 처리시간, 첫 결과, 화자분리, 자막, 긴 녹음의 장비 조건을 단계별로 확인하세요.

내 컴퓨터에서 음성 만들기: 로컬 TTS 시작 가이드

읽어줄 문장과 필요한 언어를 먼저 정하고, Kokoro·Qwen3-TTS·Chatterbox 가운데 작업과 장비에 맞는 실행 경로를 고르는 방법을 안내합니다.

Qwen3-TTS란? 글을 목소리로 바꾸는 AI

Qwen3-TTS가 글을 읽어주는 원리부터 CustomVoice·VoiceDesign·Base 선택, RTF와 스트리밍 속도 비교, Mac·NVIDIA 실행 방법까지 쉽게 설명해요.

로컬 TTS 모델 비교: 언어·장비·속도 근거 읽기

Kokoro-82M, Qwen3-TTS, Chatterbox Multilingual을 기능과 공식 실행 경로로 비교하고, 공개된 시간 수치와 공개되지 않은 조건을 나눕니다.

Nemotron 3 Diarization: 회의 녹음에서 누가 말했는지 찾기

Nemotron 3 Diarization으로 최대 8명의 발화 구간을 나누고 ASR와 연결하는 방법을 정리합니다. Mac·Windows·Linux 실행 경로, 지연 설정, 공개 성능 수치를 읽는 법까지 알아보세요.

mlx-audio: 한 설치로 합성과 인식을 같이 써요

mlx-audio는 애플 MLX 위에서 음성 합성·인식·음성 변환·음악 생성을 한 패키지로 묶은 라이브러리예요. 같은 CLI와 서버를 쓰고 모델 이름만 바꿔서 비교할 수 있고, 한국어를 지원하는 모델은 여섯 개예요.

Fish Audio Drama 3 int4: 41.5GB를 22GB로 줄여 한 장에

Fish Audio Drama 3를 int4로 양자화한 22.1GB 체크포인트예요. 41.5GB에서 줄어든 조건과 공개된 WER·지연 측정값, SGLang Omni로 띄우는 명령을 정리해요.

LFM3-Audio-2B: 1GB로 듣고 말하는 음성 모델

LFM3-Audio-2B는 16kHz 음성을 듣고 24kHz 음성으로 답하는 2B 모델이에요. GGUF 1.05GB, 첫 토큰 50ms, 한국어를 포함한 18개 언어를 조건과 함께 정리해요.

Nemotron 3.5 Transcribe로 1시간 회의를 한 번에 전사하기

Nemotron 3.5 Transcribe는 1시간 녹음을 잘라 넣지 않고 한 번에 전사하고, 화자 태그와 단어 타임스탬프를 붙이는 30B-A4B 음성 LLM이에요. 한국어 FLEURS CER 2.78%, 4비트 GGUF 19.68GB부터 돌아가요.

AMD 라데온으로 집에서 실시간 음성 비서: Ming Voice의 20GB VRAM 조건

마이크에 말을 마친 뒤 0.23초 만에 답이 나오는 로컬 음성 비서예요. 16GB 그래픽카드에서 int8로 줄이는 방법과 맥에서 안 되는 이유를 정리했어요.

홈 어시스턴트 음성 비서: 집 안에서만 듣고 답하는 로컬 음성 구성

웨이크워드부터 받아쓰기·합성까지 집 안에서 끝내는 Assist 파이프라인이에요. Speech-to-Phrase와 Whisper의 지연 차이, Piper 설정과 기기 배치를 정리했어요.

Piper 한국어 음성: 홈 어시스턴트에 ko_KR 목소리 붙이기

파이 4에서도 1초에 1.6초 분량을 만드는 로컬 합성기예요. 한국어 모델 ko_KR-kss-medium 고르기, 설치와 파이프라인 연결, 발음 확인을 정리했어요.

홈 어시스턴트 음성 알림: Piper 목소리로 집 안에 말 걸기

tts.speak로 문장을 스피커에 보내는 구성이에요. 어느 스피커에서 말할지, 밤에는 얼마나 작게, 문장이 길 때 무엇이 달라지는지 정리했어요.

답변 속도와 가속

Nemotron Bolt vs Qwen3.8-27B, 에이전트 작업은 누가 빠를까?

NVIDIA가 같은 RTX Spark에서 측정한 Bolt와 Qwen3.8-27B 결과를 읽고, TPS와 에이전트 작업 완료 시간 중 내 작업에 필요한 기준을 고르는 방법을 설명해요.

ReplaySSM이란? 네모트론·Qwen 서버의 생성 속도를 높이는 방법

ReplaySSM이 하이브리드 LLM의 상태 저장과 초안 검증을 바꾸는 원리를 설명해요. NVIDIA·Princeton의 실험 조건을 바탕으로 개인 PC와 다중 요청 서버에서의 활용을 구분해요.

뉴럴엔진이 실제로 일하고 있나요? Core ML 실행 위치 확인하기

Xcode Performance 보고서로 Core ML 모델의 CPU·GPU·뉴럴엔진 배치와 로딩·추론 시간을 확인하고, 같은 모델로 실행 구성을 비교해요.

Arc Pro B70 공개 성능 측정 읽기: XeStrata와 SYCL

XeStrata xe0.1.43.1의 Arc Pro B70 32GB IQ3_XXS 측정에서 4K 입력 prefill 1,511 tok/s와 decode 81.1 tok/s를 upstream SYCL 경로와 비교해요. 측정 종류와 같은 조건으로 직접 재는 방법도 설명해요.

CMP 170HX 전력을 낮춰도 속도를 유지할 수 있을까?

CMP 170HX 전력 제한별 GLM 실측 처리량과 소비 전력을 비교합니다. Linux에서 전력 상한을 바꾸는 명령, 메모리 온도 확인과 원래 설정으로 복원하는 절차까지 알아보세요.

CMP 170HX 두 장이면 속도도 두 배가 될까?

CMP 170HX 두 장의 모델 분할, PCIe 경로와 P2P 조건을 설명하고 Qwen TP2 공개 측정의 적용 범위를 정리합니다.

Qwen-Image 2.1 속도: RTX 5090과 Mac, 같은 모델인데 왜 다를까

RTX 5090 LightX2V 5.93초, FP4·NF4 실행 기록과 Mac GGUF 시간을 조건별로 비교합니다. 1K·2K, 20·40단계, Q4·Q8을 구분해 장비와 설정을 고르는 가이드입니다.

월간 로컬 AI 속도표: 2026년 9월

2026년 9월 기준 주요 맥과 NVIDIA GPU, DGX Spark, AMD 통합 메모리 장비의 프리필과 토큰 생성 속도를 같은 조건으로 비교합니다.

긴 입력에서는 로컬 LLM 속도 순위가 뒤집힐 수 있어요

짧은 채팅의 디코드 순위와 긴 문서의 프리필·전체 완료 시간 순위가 달라지는 이유를 실제 장비 선택 관점에서 설명합니다.

MTP란? 다중 토큰 예측의 원리와 조건

MTP(Multi-Token Prediction)가 여러 미래 토큰을 어떻게 제안하고 검증하는지, 지원 모델과 런타임이 왜 필요하며 언제 빨라지는지 설명합니다.

Lightning MTP란? oMLX 0.7.1rc1에서 답변 속도 높이기

Lightning MTP가 토큰 후보를 만들고 본 모델이 검증하는 원리와 설정 방법을 설명해요. oMLX 0.7.1rc1의 Qwen3.8·TurboQuant 측정과 앞선 개발판 결과를 조건별로 정리해요.

llama.cpp에서 DFlash와 DSpark 실행하기: Qwen3-4B로 확인

llama.cpp에서 Qwen3-4B target에 맞춘 DFlash·DSpark draft를 변환하고 실행하는 순서, 기본 서버 확인, 응답 검증과 성능 비교를 설명합니다.

반복 문구 가속 (Prompt Lookup)·n-gram 추측 디코딩 설명

Prompt Lookup이 추가 초안 모델 없이 프롬프트와 생성 기록의 반복 구문(n-gram)에서 후속 토큰을 찾아 검증하는 방식과 모델 가중치 오프로드와의 차이점을 설명합니다.

Qwen3.8-Flash-Next PLE 오프로드: RAM·SSD 조건과 실행 흐름

Qwen3.8-Flash-Next의 PLE 테이블을 RAM이나 SSD에 두는 경로와 파일·메모리 조건을 설명하고, oMLX 및 DGX Spark 측정값을 범위에 맞춰 읽어요.

SpecPrefill로 긴 입력의 TTFT 줄이기

SpecPrefill의 입력 선별 원리와 oMLX의 모델별 적용 조건, MTP와의 동시 사용 경로 및 답변 품질 점검 방법을 설명합니다.

LLM 메모리 대역폭 vs 연산 성능: 속도 병목 찾는 법

로컬 LLM에서 메모리 대역폭과 GPU 연산 성능이 프리필, 단일 사용자 디코드와 배치 처리에 각각 어떻게 영향을 주는지 설명합니다.

메모리와 모델

TensorFold 1.0.8에서 Qwen3.8-27B 맥 메모리가 17.6GiB 줄었어요

TensorFold 1.0.8은 Mac에서 Qwen3.8-27B 가중치의 중복 적재를 없애 DFlash2와 함께 준비할 때 17.6GiB를 줄였어요. 70K 문맥 점검에서 M5 Max는 47.2→29.6GiB, M3 Ultra는 42.2→24.6GiB였어요.

CMP 170HX 사기 전에 무엇을 확인해야 할까?

CMP 170HX 구매 전 카드 랭크와 32·40·64GB 메모리 프로필, Linux 드라이버·Secure Boot, PCIe 링크, 냉각과 전원 구성을 확인하는 체크리스트입니다.

CMP 170HX ECC도 풀렸다는데, 무엇이 달라졌을까?

cmpunlocker v0.5의 ECC 패치가 실제로 바꾸는 기능과 보고용 카운터를 구분하고, 설치 전 조건과 메모리 안정성 확인 순서를 설명합니다.

64GB CMP 170HX에 긴 문서를 얼마나 넣을 수 있을까?

64GB CMP 170HX의 메모리 용량과 실제 문맥 길이를 구분하고, 2026년 10월 측정에서 open-jet이 처리한 18,976토큰과 vLLM의 9,472토큰 오류를 조건과 함께 설명합니다.

Strata PC 메모리 가이드: RAM 32·48·64·96GB에서 모델 고르기

Strata에서 VRAM과 RAM이 전문가를 어떻게 나누는지, resident·mmap 저RAM 모드가 다른 점, 32~96GB RAM별 추천 크기를 설명해요. CPU와 NVMe SSD, 문맥 캐시까지 고려해 메모리 부족을 줄이는 기준을 정리해요.

맥 스튜디오 M5 Ultra, SSD가 빨라지면 로컬 AI도 빨라질까?

M5 Ultra의 SSD 성능이 로컬 LLM 로딩·프리필·토큰 생성에 미치는 영향을 나눠 봅니다. 실제 SSD 오프로드 사례를 바탕으로 256GB·512GB 메모리와 SSD 중 어디에 예산을 쓸지 판단합니다.

35B MoE가 더 작은 밀집 모델보다 빠를 수 있는 이유

총 파라미터와 활성 파라미터를 구분해, 큰 MoE 모델이 작은 Dense 모델보다 빠르게 생성되는 조합과 메모리 조건을 설명합니다.

로컬 LLM VRAM·통합 메모리 용량 계산 가이드

12B·27B·35B·70B급 로컬 LLM에 필요한 VRAM과 통합 메모리를 양자화, 런타임 여유, KV 캐시와 문맥 길이까지 포함해 판단하는 방법입니다.

KV 캐시 메모리 줄이기: vLLM FP8 설정과 답변 확인

vLLM의 FP8 KV cache를 모델 가중치 양자화와 구분하고, 지원 backend에서 기준 응답·cache 설정·정확도를 한 조건씩 점검하는 방법을 설명합니다.

MLX-LM 서버 캐시: 공통 프롬프트와 동시 요청 확인하기

MLX-LM 서버에서 공통 시스템 프롬프트를 재사용하는 조건과 동시 요청의 캐시·지연·메모리 영향을 확인하는 실습입니다.

LLM 양자화란? Q4·Q8·FP16 선택 기준

로컬 LLM의 가중치를 Q4·Q8 등 낮은 비트로 줄일 때 메모리, 속도와 품질이 어떻게 달라지는지와 양자화 형식 선택 기준을 설명합니다.

MoE vs Dense 차이: 활성 파라미터가 작아도 메모리가 필요한 이유

MoE는 일부 전문가만 계산해도 전체 가중치를 보관해야 합니다. 총 파라미터, 활성 파라미터와 실제 필요 메모리를 Dense 모델과 비교합니다.

LLM 컨텍스트 길이·RoPE·슬라이딩 윈도

모델의 최대 컨텍스트 길이가 무엇을 뜻하며 긴 문맥이 프리필 시간과 KV 캐시, RoPE 확장, 슬라이딩 윈도와 답변 품질에 미치는 영향을 설명합니다.

turbovec: RAG 인덱스가 먹는 램을 8분의 1로

turbovec은 임베딩을 차원당 2비트나 4비트로 압축해 보관하고 압축된 상태로 검색하는 벡터 인덱스예요. 768차원 1,000만 개가 float32로 31GB일 때 4GB로 줄고, FAISS 대비 4비트에서 3.8~5.1배 빨라요.

실행 프로그램과 확장

잘 쓰던 로컬 LLM, 모델 파일을 어떻게 백업하고 복원할까?

이미 잘 쓰는 로컬 LLM의 모델 폴더와 버전·실행 설정을 보관하고, 원본을 둔 채 복사본으로 같은 작업을 다시 해봐요.

LiLiCorr란? Bolt와 Super VL의 speculative decoding 경로

LiLiCorr의 후보 연결 방식과 Bolt·Super VL에서 서로 다른 실행 recipe, 공개 측정 조건을 설명해요.

네모트론 3.5 Super VL, DGX Spark·RTX PRO 6000에서 쓰려면?

이미지·영상 입력을 지원하는 Super VL의 모델 구조와 DGX Spark, RTX PRO 6000용 vLLM recipe를 구분해 안내해요.

Ling 3.1 Flash를 직접 띄우려면 어떤 서버가 필요할까요?

Ling 3.1 Flash의 크기와 공식 SGLang 실행 구성을 살펴보고, 필요한 서버 메모리와 접속 방식을 확인해요.

Muse Spark Open을 Mac 한 대에서 실행할 수 있을까요?

Muse Spark Open의 메모리 규모, Apple MLX 분산 실행 조건, 공개된 M5 Ultra 측정치를 구분해 설명해요.

EmbeddingGemma 2로 사진·녹음까지 내 컴퓨터에서 검색하려면?

EmbeddingGemma 2로 문서·사진·녹음을 내 컴퓨터에서 검색하는 방법을 소개해요. Python 실행 예제와 공통 벡터 생성, 검색 품질 점검, 파일 경로·메모리 오류 해결까지 다뤄요.

DeepSeek Search·Fetch API: 로컬 LLM에 웹 검색 붙이기

Search와 Fetch API의 요청·응답 구조, 성공 요청당 $0.75 요금과 11월 1일까지의 무료 기간, 로컬 모델에 검색 결과를 넣는 두 단계 구성을 정리합니다.

RTX 3090 BF16 언락: 풀리는 것과 그대로인 것

RTX 3090의 BF16·FP16 행렬 연산을 여는 gpu-unlock 커널 모듈의 공개 범위, 3090 Ti 실측값, 검증된 환경 한 대, 콜드 부팅과 되돌리기 조건을 정리합니다.

3090 언락하면 로컬 LLM이 빨라질까? 프리필·배치·디코드

디코드는 메모리 대역폭, 프리필과 배치는 연산이 병목이에요. 3090 BF16 언락이 바꾸는 구간과 그대로인 구간을 나눠 정리합니다.

3090 언락 검증법: 부팅·GEMM·llama-bench 기록

언락 전후를 비교하려면 커널·드라이버·전력 조건을 고정하고 GEMM과 llama-bench를 같은 방식으로 재야 해요. 기록 양식과 복구 절차를 정리합니다.

RTX 3090 48GB 개조, 인수 전에 확인할 것

48GB 개조 카드는 부팅과 화면 출력만으로 합격이 아니에요. 49152MiB 보고, 연산 능력 8.6, 92~95% 메모리 할당, 드라이버·PCIe·Xid 로그 검사와 ACCEPT/REVIEW/REJECT 판정 절차를 정리합니다.

2×3090 NVLink, 추론에서 실제로 얼마나 다른가

2×3090 vLLM 텐서 병렬에서 NVLink 브리지 유무를 비교한 커뮤니티 측정은 85.0 대 81.1 tok/s, p95 239.1 대 277.6초였어요. 기본 경로가 PCIe이고 P2P가 꺼져 있는 이유와 세 계층 확인법을 정리합니다.

JEV-35B NVFP4 추론을 B200에서 검토하는 법

JEV-35B의 BF16 병합판과 NVFP4 LoRA 변형을 구분하고, 공식 NVFP4 카드의 메모리·검증 범위를 바탕으로 실험을 설계해요.

Apple Minions란? 쉬고 있는 Mac으로 AI 작업을 나눠 처리하는 방법

Apple Minions가 임베딩과 LLM 요청을 여러 Mac에 나누는 방식, 모델 분할과의 차이, 문서 검색 작업에 적용할 조건을 설명해요.

DiffusionGemma로 맥에서 무엇을 할 수 있나요? 문서·이미지·음성 연결하기

DiffusionGemma의 텍스트·이미지·영상 입력과 블록 생성 방식, Mac의 Fast-dLLM-mlx 실행, 음성인식 도구와 연결하는 구성을 설명해요.

XeStrata란? Intel·AMD·NVIDIA에서 Qwen3.8을 실행하려면?

XeStrata는 Linux PC에서 Intel Arc, AMD Radeon, NVIDIA GPU로 Qwen3.8-Flash-Next를 실행하는 도구예요. 지원 배포판과 메모리를 확인하고, 모델을 내려받아 첫 로컬 응답을 받는 순서를 안내해요.

Radeon에서 XeStrata를 쓰려면? RX 7000·9000과 배포판 선택

XeStrata는 Radeon 모델명만으로 실행 여부를 정할 수 없어요. RX 7000·9000의 gfx 코드와 Ubuntu 26.04·Fedora 44의 rocBLAS 지원을 맞춘 다음 첫 실행을 확인하는 방법을 안내해요.

VRAM 4GB에서도 35B 모델을? XeStrata의 Ornith·llm-jp 실행 조건

XeStrata의 베타 소형 MoE 경로에서 VRAM 4GB가 가리키는 조건과 시스템 RAM·파일 크기를 살펴봐요. Ornith-1.5와 llm-jp-4.1 중 용도에 맞는 모델을 고르고 첫 실행을 확인하는 순서예요.

Intel Arc와 RTX를 같이 쓰면? XeStrata 혼합 GPU 설정

XeStrata의 멀티 GPU 모드에서 서로 다른 그래픽카드에 모델 레이어와 전문가 캐시를 나눠 배치하는 법을 살펴봐요. 설정 명령과 분할 위치 선택, 실제로 확인할 결과까지 정리해요.

TensorFold란? Mac·RTX·DGX Spark의 로컬 모델 실행 엔진

TensorFold 1.0.8은 지원 모델을 Mac과 NVIDIA GPU에서 실행해 OpenAI 호환 API로 제공해요. 이 글에서는 Mac의 Qwen3.8-27B를 내려받고 DFlash2와 함께 서버를 여는 명령, 지원 모델과 장비 조합을 설명해요.

M5 Ultra 두 대로 GLM-5.3 744B를? 메모리와 연결 조건

TensorFold 1.0.8의 GLM-5.3 EXLR8 home profile은 M5 Ultra 두 대에 모델을 나눠 실행해요. 256GB씩 필요한 이유, 체크포인트 분할 다운로드, 8K 문맥 메모리와 MTP 속도 조건을 확인해요.

DGX Spark 한 대와 두 대, Qwen3.8 Flash-Next는 얼마나 달라질까?

한 대 레시피는 TensorFold Zig 엔진의 동시 처리량, 두 대 레시피는 1M 문맥과 더 높은 단일 요청 속도를 겨냥해요. 단일 decode·동시 요청·prefill을 같은 수치로 읽지 않도록 조건을 비교해요.

GLM-5.3 Flash의 2·3·4 Spark 실행과 속도 비교

GLM-5.3-Flash TensorFold 레시피의 2·3·4 Spark 단일 요청 속도와 동시 처리량을 구분해요. 3대는 패치된 실험 구성, 4대는 별도 tp4 branch의 실험 값으로 다뤄요.

RTX PRO 6000 두 장으로 GLM-5.3 Flash를? 속도와 전력 제한

두 장과 네 장의 RTX PRO 6000 Blackwell 구성에서 GLM-5.3-Flash TensorFold 결과를 비교해요. 300W와 250W 설정, 단일 decode와 동시 합계를 구분하고 2장 레시피의 실행 조건을 설명해요.

16GB 그래픽카드로 Qwen3.8 27B를? ExLlamaV3·EXL3 선택법

Windows·Linux용 serving kit는 VRAM에 맞춰 EXL3 bpw와 문맥 길이, 이미지 입력을 조합해요. 12·16·24·32GB별 프로필을 비교하고 선택된 파일을 API로 서빙하는 순서를 정리해요.

내 로컬 LLM 속도를 직접 재려면? sparkDash 사용법

sparkDash의 decode·prefill 벤치마크를 준비하고 요청 수, prompt 길이, TTFT를 읽는 방법을 안내해요. sparkDash 2.40.0의 공개 설치 절차와 원격 API 설정을 포함해요.

TensorFold Living Weights와 RAG, 기억을 남기는 방식이 달라요

Living Weights는 지원되는 모델 폴더의 가중치를 갱신하고, RAG는 원문을 별도 저장해 검색해요. TensorFold 1.0.8에서 확인된 Nemotron 전용 범위, 복사본 준비와 되돌리기 절차를 정리해요.

Open WebUI로 내 컴퓨터에 AI 채팅 화면 만들기

Open WebUI는 로컬 모델 서버에 연결해 대화와 문서 질의를 웹 화면에서 관리하는 도구예요. Docker로 설치하고 첫 관리자 계정을 만든 뒤 Ollama에 연결해 대화를 저장하고 PDF를 물어보는 흐름을 안내해요.

Langfuse로 로컬 에이전트의 지연 구간 찾기

Langfuse를 로컬에 띄우고 Python SDK v4의 observation으로 에이전트 단계를 기록해요. 모델 호출, 도구 대기, 재시도 시간을 분리하면 GPU 토큰 생성과 전체 요청 지연을 혼동하지 않고 살펴볼 수 있어요.

Darwin-27B-ZTC란? 54GB BF16으로 확률형 판단하기

Darwin-27B-ZTC는 답변 문장을 생성하지 않고, yes/no·선택지·평가기준에 대한 확률을 내는 결정 모델이에요. 입력 구조와 로컬 Python 호출 예시, BF16 메모리 조건을 살펴봐요.

Youtu-Parsing-Omni로 문서·음성·영상을 JSON으로 정리하기

문서 이미지, 차트, 음성, 영상을 입력 유형에 맞는 작업으로 지정해 구조화된 JSON을 받아요. vLLM 플러그인의 고정 버전 설치, 로컬 파일 경로 제한, 결과 검증까지 실용 흐름을 안내해요.

LightOnOCR-3로 스캔 PDF와 표를 로컬에서 추출하기

PDF를 페이지별 Markdown과 좌표가 있는 블록으로 저장하고, 표 추출 결과를 원본과 비교하는 실용 절차예요. vLLM 서버와 LightOnOCR CLI를 연결해 grounding 모드의 파일 출력을 확인해요.

8GB GPU로 Qwen·Gemma를 빠르게? PolyStrata 설치와 두 GPU 활용법

폴리스트라타(PolyStrata)로 8GB GPU에서 Qwen3.6·Gemma 4를 실행하는 방법을 정리했어요. 모델별 RAM·생성 속도, Linux AMD 베타, 두 NVIDIA GPU 설정과 다운로드 백업 경로까지 안내해요.

Basalt로 Qwen3.8 Flash-Next가 665 tok/s? 설치와 GPU 조건

Basalt의 입력·출력, 지원 하드웨어, .basalt 모델과 메모리 설정을 설명하고 로컬 API를 띄우는 순서를 안내합니다.

CMP 170HX, 채굴용 카드로 64GB 로컬 LLM을 돌릴 수 있을까?

CMP 170HX를 로컬 LLM용으로 살펴볼 때 32GB·40GB·64GB 메모리 변형, Linux 언락 조건, 모델 실행 경로와 냉각·PCIe 제약을 확인합니다.

Transformers.js로 브라우저 안에서 로컬 LLM 실행하기

Transformers.js 4.3.0과 WebGPU로 ONNX 모델을 브라우저에서 실행하는 방법을 안내합니다. 첫 모델 다운로드, CPU 대 GPU 선택, 브라우저 지원 조건과 실제 실행 예제를 함께 확인합니다.

Backburner: 아이폰으로 맥의 로컬 LLM 프리필 가속하기

Backburner는 USB-C로 연결한 iPhone을 이용해 Mac의 Qwen3.8-27B 프리필과 긴 문맥을 확장하는 사전 공개 프로젝트예요. 지원 기기, 공개 벤치마크, 설치 절차와 보안 조건을 확인해요.

Superfluid란? 로컬 LLM 하나로 여러 에이전트를 실행하는 방법

Superfluid로 GGUF·MLX 모델을 로컬 API로 실행하고 여러 에이전트의 요청을 함께 처리하는 방법을 설명합니다. Qwen3.8-27B 실행 예제, 채팅 우선순위, 메모리 설정과 공개 벤치마크를 정리했어요.

Splash 1.3.0으로 Qwen3.8-27B 프리필과 캐시 설정하기

Apple Silicon Mac에서 Splash 1.3.0으로 Qwen3.8-27B를 실행하고, Apple Neural Engine 프리필과 반복 문맥 캐시를 확인하는 방법을 소개해요.

NInfer로 Qwen3.8 로컬 실행하기: RTX 5090과 MTP·DFlash2

NInfer-all로 저비트 Qwen3.8과 Underdog Saluki를 NVIDIA GPU에서 실행하는 방법을 안내해요. 모델 다운로드, Docker 서버, 첫 API 요청과 MTP·DFlash2 설정을 따라가고 RTX 5090 커뮤니티 측정 조건도 살펴봅니다.

12GB GPU로 125B 모델을? Strata는 어떻게 실행할까?

Strata는 Qwen3.8-Flash-Next 125B MoE를 Windows·Linux PC에서 실행해요. GPU·RAM·CPU·SSD가 맡는 일과 메모리에 맞는 모델 선택, 첫 실행 흐름을 설명해요.

Strata 양자화 선택: Q2_0·IQ2_XS·IQ3_S와 Coder 비교

Q2_0, IQ2_XS, IQ3_S의 메모리·속도 선택과 전문가를 절반 줄인 Coder, 짧게 생각하도록 조정한 Swift 1.5를 비교해요. RAM과 한국어·일본어 작업, 모델 라이선스에 맞춘 선택 기준을 정리해요.

Strata 속도 벤치마크 읽기: 짧은 대화와 긴 입력

Strata 속도표의 입력 처리량과 답변 생성 속도를 구분하고, RTX 5070과 Radeon의 측정 조건, TTFT·출력 길이·캐시 영향을 살펴봐요.

Strata AMD HIP 가이드: Windows와 Linux에서 Radeon 시작하기

AMD Radeon에서 Strata를 실행하는 HIP 백엔드의 운영체제별 준비, 설치, 첫 응답과 0.1.43 측정 범위를 안내해요.

Strata 다중 GPU 레이어 분할: 설정과 실측 읽기

Strata가 GPU 여러 장에 모델 레이어를 나누는 방식, setup 명령과 수동 분할, 카드 추가 기준, RTX 5080·3090의 프롬프트·디코드 결과를 안내해요.

Strata 문제 해결: 다운로드·첫 실행·응답 지연 점검

Strata 0.1.43 설치가 멈추거나 첫 응답이 늦을 때 다운로드 재개, 모델 적재, RAM·SSD 접근, GPU 인식, 포트 충돌을 단계별로 확인해요.

RTX 5070 12GB에서 Strata 실행하기: 125B 모델과 RAM 선택

12GB VRAM RTX 5070에서 Strata의 Qwen3.8-Flash-Next를 실행할 때 필요한 RAM, 모델 크기와 짧은 대화·긴 문맥 속도를 살펴봐요.

RTX 3090 24GB로 Strata 실행하기: VRAM·RAM·긴 문맥

24GB VRAM의 RTX 3090에서 Strata 모델을 고르는 방법, RAM 32·64·96GB 구성, CPU·PCIe 영향과 긴 문맥의 KV 캐시를 정리해요.

RTX 5090 32GB에서 Strata 실행하기: RAM과 공개 측정 읽기

32GB VRAM의 RTX 5090에서 Strata를 구성할 때 IQ2_XS·IQ3_S와 64·96GB RAM, 긴 입력, 공개 커뮤니티 결과의 조건을 살펴봐요.

Strata를 코딩 에이전트에 연결하기: OpenAI·Anthropic·Codex API

Strata를 localhost에 안전하게 띄우고 OpenAI Chat Completions, Anthropic Messages, Codex가 쓰는 Responses API로 실제 요청을 보내는 방법을 설명해요.

Strata vs llama.cpp, 내 PC에서는 무엇을 쓸까?

Qwen3.8-Flash-Next를 위한 Strata와 여러 GGUF 모델을 실행하는 llama.cpp를 비교해요. GPU·RAM 배치, Mac 지원, 설치 방식, 첫 답 대기와 실제 작업 결과로 선택하는 방법을 정리했어요.

로컬 RAG 답변이 틀릴 때: 검색·청크·모델 진단 순서

휴가 규정 PDF를 검색하는 사례로, 원문 추출·검색 근거·답변 생성·색인 갱신 중 어디에서 오류가 생겼는지 확인하는 순서를 안내합니다.

로컬 LLM·RAG 품질 평가: DeepEval로 바뀐 설정 검증하기

같은 휴가 규정 질문과 검색 근거로 설정 전후를 비교합니다. DeepEval을 로컬 Ollama 평가 모델과 연결하고, 검색 누락·근거 없는 답변·속도 변화를 확인하는 절차를 안내합니다.

완전 오프라인 로컬 AI 구축: 에어갭 설치와 업데이트 절차

인터넷이 없는 환경에 모델·런타임·패키지를 옮기고 검증, 업데이트, 롤백까지 운영하는 에어갭 로컬 AI 절차를 설명합니다.

Transformers에서 GGUF 직접 실행: llama.cpp·MLX와 무엇이 다른가

Apple Silicon에서 Transformers가 GGUF를 압축 상태로 실행하는 방법, 메모리 조건, llama.cpp·MLX와의 선택 기준을 실전 예제로 설명합니다.

vLLM Metal 0.30: Mac 한 대를 여러 사람이 쓰는 로컬 AI 서버로 만드는 법

vLLM Metal 0.30의 Apple Silicon 설치 조건, PagedAttention·통합 KV 저장소·동시 요청 설정과 여러 Mac 분산 시 주의점을 설명합니다.

OpenClaw에 Ollama 또는 관리형 llama.cpp 로컬 모델 연결하기

OpenClaw Gateway와 로컬 추론 서버를 구분하고, Ollama 또는 OpenClaw 관리형 llama.cpp를 선택해 채팅과 실제 도구 호출을 단계별로 검증합니다.

Hermes Agent 설치와 로컬 모델 연결: 첫 작업부터 권한 확인까지

Hermes Agent와 Hermes 모델을 구분하고, 로컬·OpenAI 호환 모델 연결, 도구 호출, 메모리, MCP와 권한을 첫 작업 순서로 확인합니다.

OpenClaw·Hermes Agent·NemoClaw 비교: 어떤 작업과 운영 방식에 맞을까?

OpenClaw, Hermes Agent, NemoClaw의 역할과 운영 방식을 같은 기준으로 비교합니다. 채널, 로컬 모델, 메모리, 도구 검증, 샌드박스와 네트워크 경계를 보고 선택합니다.

로컬 AI 에이전트 보안: 권한·네트워크·시크릿 점검법

로컬 모델이라고 해서 도구 실행과 외부 연결까지 자동으로 안전해지지는 않습니다. 도구 허용 목록, 샌드박스 한계, API 바인딩, 메신저·검색 데이터 흐름, 키 관리와 사고 대응을 순서대로 점검합니다.

로컬 AI에 NVIDIA 그래픽카드와 CUDA가 꼭 필요할까

로컬 AI 앱, 프레임워크, CUDA 툴킷과 NVIDIA 드라이버의 역할을 구분하고 NVIDIA GPU가 필요한 작업과 다른 실행 경로를 확인합니다.

NVIDIA GPU가 있는데 PyTorch가 CPU로 도는 것 같을 때

nvidia-smi, PyTorch CUDA 빌드, torch.version.cuda, nvcc를 구분해 GPU가 보이지 않거나 모델이 CPU에서 실행되는 원인을 안전하게 확인합니다.

GPU를 두 개 쓰면 로컬 LLM도 두 배 빨라질까요?

멀티 GPU에서 VRAM 분할, 모델 병렬화와 복제본 처리량의 차이를 살펴보고 두 번째 GPU가 필요한 경우를 판단합니다.

Apple Silicon에서 MLX로 로컬 AI 실행: Mac용 프레임워크와 모델 도구 구분

MLX, MLX-LM, Metal, PyTorch MPS와 GUI 앱은 서로 다른 역할을 합니다. Apple Silicon과 Intel Mac의 차이, 통합 메모리의 한계, 모델별 지원 여부를 확인해 실행 경로를 고르세요.

ROCm과 Radeon 로컬 AI: 지원 조합과 실행 경로 읽기

ROCm/HIP와 CUDA의 차이, AMD 지원표에서 GPU·OS·드라이버·프레임워크 조합을 확인하는 법, Windows·WSL·Linux 경로를 구분하는 기준을 안내합니다.

CUDA 코드를 AMD로 옮겼다면, 속도도 같아질까요?

CUDA 소스 변환, 정확성, 장시간 안정성은 각각 따로 검증해야 합니다. HIP/HIPIFY와 공식 AMD 실행 경로를 확인하고 동일 이미지 작업으로 Radeon 구매를 판단하는 방법을 설명합니다.

Jev-Omni란? 사진·음성·영상에서 답을 고르는 로컬 AI

Gemma 4 12B 기반 Jev-Omni의 선택지 분류 원리, CUDA·메모리 조건, Python 실행 예제와 H200 공개 성능을 정리합니다. 다른 로컬 JEV형 구현과 무엇이 다른지도 살펴봅니다.

Crane이란? Rust로 LLM·OCR·음성을 로컬 API로 실행하기

대화·OCR·음성마다 Python 환경을 따로 챙기는 번거로움에서 출발해, Candle 기반 Rust 프로젝트 Crane의 설치, Qwen3.5 시험, localhost API 연결과 Bonsai 2 실행 조건을 설명합니다.

Husky란? 맥에서 Woof를 빠르게 돌리는 엔진과 730 tok/s의 조건

Underdog Husky의 Woof 전용 추론, Flash와 프롬프트 재사용, MLX 비교 조건을 설명합니다. 맥에서 쓰는 방법과 Qwen·oMLX를 그대로 대체할 수 없는 이유도 살펴봅니다.

Jev는 무엇인가: 답변을 쓰지 않고 결정을 내리는 System One 모델

Jev가 일반 LLM과 다른 점, 선택지·확률·신뢰도를 바로 반환하는 방식, 잘 맞는 자동화와 로컬 구현을 구분해 설명합니다.

Qwen으로 로컬 Jev 비슷하게 만들기: SemIf·Simple Jev·openjev-sglang

Qwen의 로짓을 직접 읽는 SemIf, 작은 CPU 실험용 Simple Jev, SGLang 서버 구현과 학습형 프로젝트의 차이를 정리합니다.

Jev형 로컬 판단 모델을 Mac·RTX 3090·서버에서 실행해요

Jev형 모델이 상태를 읽고 선택지 확률을 내는 원리를 설명하고, CPU·Apple Silicon·RTX 3090과 B200 서버를 작업 규모에 맞춰 고르는 방법을 안내해요.

로컬 LLM 첫 실행이 느릴 때, 장비 탓하기 전에 볼 다섯 가지

로컬 LLM의 첫 실행이 느릴 때, 다운로드·모델 로딩·답변 생성 중 어디에서 기다리는지 화면 표시와 짧은 질문으로 구분해요.

DGX Spark 두 대를 연결하면 무엇이 실제로 좋아질까

DGX Spark 1대와 2대 구성에서 모델 적재량, 단일 요청 생성 속도, 여러 요청 처리량이 각각 어떻게 달라지는지 구분합니다.

GGUF와 MLX 모델 형식, 무엇이 다른가

로컬 LLM에서 GGUF와 MLX용 모델 파일이 어떤 런타임 생태계에 맞는지, 양자화 표기와 변환 호환성을 어떻게 확인해야 하는지 설명합니다.

멀티 GPU·듀얼 GPU로 로컬 LLM 돌리기

GPU 두 장의 VRAM을 로컬 LLM에 활용하는 레이어 분할, 텐서 병렬과 파이프라인 병렬의 차이, PCIe·NVLink 통신 병목을 설명합니다.

FlashAttention과 PagedAttention 차이

이름이 비슷하지만 다른 문제를 푸는 FlashAttention과 PagedAttention이 어텐션 계산, KV 캐시 메모리 관리와 서버 처리량에 미치는 영향을 설명합니다.

Continuous Batching과 단일 사용자 속도

연속 배칭이 길이가 다른 LLM 요청을 실행 중인 배치에 넣고 빼며 서버 처리량을 높이는 방식과 단일 사용자 지연과의 차이를 설명합니다.

로컬 LLM 실행 프로그램, 무엇부터 쓰면 될까요?

Ollama, LM Studio, llama.cpp, oMLX, MTPLX, vLLM, SGLang을 내 장비와 쓰는 방식에 맞춰 고르는 안내입니다. 모델 파일, 한 답변의 속도와 동시 요청을 구분합니다.

MTPLX: 맥에서 MTP를 켜면 답변이 빨라질까요?

Apple Silicon용 MTPLX의 설치, 지원 MLX 모델, MTP 자동 튜닝과 로컬 API 연결을 설명합니다. GGUF와의 차이, 메모리 부족과 캐시를 확인하는 순서도 다룹니다.

Ollama: 내 컴퓨터의 모델을 다른 앱에 연결할 때

Ollama의 로컬 모델 선택과 앱 연결을 확인하고, Apple Silicon에서 MLX 자동 선택을 시험판에서 검증하는 방법을 설명합니다. 연결 문제와 실행 경로·속도 문제를 나눠 점검합니다.

LM Studio 사용법: 모델 설치부터 한국어 대화까지

LM Studio의 모델 검색·다운로드·로드·대화 순서를 안내합니다. GGUF와 MLX 선택, 문맥·메모리 설정과 실패할 때 확인할 항목, API 연결까지 정리했습니다.

llama.cpp: 어떤 설정이 느리게 만드는지 직접 확인하려면

llama.cpp의 GGUF 파일과 GPU 백엔드 선택, 로컬 llama-server 시작, 메모리와 프리필·디코드 확인 순서를 정리합니다.

oMLX로 맥에서 로컬 AI 실행하기: 0.7.1rc1 새 설정은?

oMLX로 Mac에서 모델을 실행하고 API에 연결하는 방법을 설명해요. 0.7.1rc1의 Splash 외부 엔진, 새 모델 설정, Muse Spark Open 지원과 버전 선택도 함께 다뤄요.

vLLM 로컬 서버 설정: 작은 모델부터 0.30 적응형 검증까지

vLLM 0.30.0의 DFlash·DSpark 초안과 적응형 검증을 DSpark 예제로 확인하고, CUDA 그래프·모델 지원·요청 부하에 따라 비교하는 방법을 설명합니다.

SGLang HiCache: 반복 문서의 KV를 GPU·CPU·저장장치에 나누기

SGLang HiCache의 GPU·호스트 메모리·저장장치 계층과 hybrid attention 모델의 prefix 재사용을 한 코드 질문으로 확인합니다. cache hit, eviction, 첫 요청과 반복 요청을 구분해 설정합니다.

Locals로 맥에서 코딩 에이전트 여러 개 동시에 돌리기

Locals는 맥에서 여러 AI 에이전트의 요청을 한 번에 계산하는 로컬 서버예요. 설치와 OpenCode 연결 방법, 동시 요청에서 늘어나는 처리량, 그리고 3배가 되지 않는 조건까지 측정값으로 확인해요.

Slotstream: 125B 모델을 16GB 맥에서 돌리는 방법

Slotstream은 모델 전체를 메모리에 올리지 않고 SSD에서 필요한 전문가만 읽어 125B 모델을 16GB 맥에서 실행해요. 48GB M5 Pro에서 초당 20.91~23.69토큰, 16GB에서는 1~6토큰으로 떨어지는 조건까지 정리했어요.

agent-memory: 코딩 에이전트가 세션을 넘어 기억하게 만들기

agent-memory는 에이전트가 세션에서 배운 것을 마크다운 파일로 남기고, 다음 세션이 그 파일을 찾아 읽게 해요. LongMemEval-S 제한 실험에서 52.9%로 기억 없음 5.8%를 앞섰고, 호스트 세 개가 같은 저장소를 공유하는지도 확인했어요.

Laya-MLX: 맥에서 13ms로 선택을 끝내는 결정 모델

Laya-MLX는 선택지·점수·참거짓 질문에 확률로 답하는 결정 모델을 애플 실리콘에서 실행해요. M3 Max에서 짧은 질문 하나가 13.42ms, 다국어 체크포인트는 7.39ms이고 출력 토큰은 0개예요.

Unsloth Browser Use로 로컬 모델에게 브라우저를 맡기기

Unsloth Desktop의 Browser Use는 로컬 모델이 옆 창에서 페이지를 열고 버튼을 누르고 폼을 채우게 해요. 로그인·결제·다운로드는 승인을 거치고, 사이트별 권한을 따로 정해요.

Wyoming 음성 서버 분리: 받아쓰기를 다른 기기로 옮기기

홈 어시스턴트가 도는 기기에서 Whisper를 떼어 내는 구성이에요. Wyoming이 인증을 쓰지 않는 이유, 주소와 포트로 붙이는 방법, 무엇을 옮길지 정리했어요.

에이전트와 자동화

Jev처럼 판단하는 AI를 내 PC에서? d1-3B와 d1-omni 실행 가이드

d1-3B와 실험 모델 d1-omni-600M은 긴 답변 대신 정해 둔 질문의 선택지와 확률을 반환해요. llama.cpp에서 서버를 열고 로컬 요청을 보내는 방법, 텍스트·이미지·오디오 입력과 지연 수치를 살펴봐요.

Cloudflare Clef를 내 PC에서 실행하려면? 27B·9B 선택과 SystemOne 사용법

Clef와 Clef-Flash는 입력 상태와 질문 스키마를 받아 각 선택지의 확률을 반환하는 판단 모델이에요. Apple Silicon의 oMLX에서 모델을 내려받고 API 키를 포함한 첫 요청을 보내는 방법을 설명하고, 서버용 H200 경로도 덧붙여요.

맥에서 AI가 전화를 받게 하기: ai-phone 설치와 4B·9B 모델 선택

SIP 전화를 받아 로컬 모델로 대화하는 맥 전용 에이전트예요. 8·16·32GB 메모리별 모델 선택과 설치, 통화 지연 실측 조건을 정리했어요.

스마트홈에 로컬 AI 붙이기: 음성·대화·영상을 집 안에서 나눠 처리하는 구성

홈 어시스턴트에 Ollama 대화 에이전트를 붙이고, 음성은 Wyoming, 카메라는 Frigate로 나눠요. 어느 기기에 무엇을 둘지와 지연·전력 조건을 정리했어요.

홈 어시스턴트에 Ollama 대화 에이전트 붙이기: 노출 엔티티와 지침 설계

Assist가 로컬 모델에 질문을 넘기는 구조와, 기기 제어를 허용할 때 지켜야 할 범위를 정리했어요. 모델·지침·별칭 설정 순서를 담았어요.

홈 어시스턴트 아침 요약: 센서 기록을 로컬 LLM 문장으로 받기

모델은 집의 지금 상태를 모르기 때문에 값을 문장에 넣어 물어야 해요. conversation.process로 센서·일정 값을 넘기고 답을 알림으로 받는 구성을 정리했어요.

로컬 LLM에게 집을 맡겨도 될까: 노출 범위와 안전 경계

대화 모델이 조작할 수 있는 것은 노출 목록 안의 기기뿐이에요. 위험한 기기를 빼는 기준, 되돌릴 수 있는 동작부터 시작하는 순서, 실패 시 기본값을 정리했어요.

로컬 LLM 음성 명령 정확도 올리기: 별칭·노출·지침 점검

같은 말을 스무 번 시험해 실패를 세 갈래로 나누고, 별칭과 노출 목록, 지침으로 고치는 순서를 정리했어요. 모델을 바꾸기 전에 확인할 것들을 담았어요.