Flint 로컬 LLM: 오픈소스 코딩 에이전트 40B를 개인 PC에서 돌릴 수 있나

오픈소스 코딩 에이전트 모델을 개인 장비에서 쓸 수 있는지 확인해요

Flint는 Recursive가 2026년 10월에 공개한 코딩 에이전트용 MoE¹ 모델이에요. 총 39.8B, 토큰²당 활성 파라미터 약 2.5B이고 문맥은 26만 2,144토큰이에요. 제작사 평가로 Terminal-Bench 2.1에서 54.9%, SWE-bench Pro v2에서 89.7%, SWE-bench Verified에서 74.2%를 기록했어요. 다만 공식 실행 안내는 B300이나 H200 GPU³ 한 장을 전제로 하고, Transformers 모델링 코드는 아직 제공되지 않아요. 개인 PC에서 쓰려면 별도로 배포된 GGUF⁴와 llama.cpp 계열 실행기가 필요하고, 그 경로의 성능은 제작사 수치와 다를 수 있어요.

코드베이스를 직접 살피는 에이전트 모델이에요

Flint는 저장소를 살펴보고 버그를 고치고 기능을 구현하고 테스트를 쓰는 코딩 에이전트용 모델이에요. 텍스트 입력과 출력, 추론, 여러 차례 이어지는 도구 호출⁵을 다룰 수 있어요. 구조는 디코더 전용 MoE Transformer⁶로, 49개 층 가운데 2개는 밀집 층, 47개는 MoE 층이에요. MoE 층마다 256개 전문가 중 6개를 고르고, 항상 계산하는 공유 전문가가 하나 더 있어요.

어텐션⁷은 35개 층이 513토큰 짧은 창을 쓰고 14개 층이 전체 어텐션을 써요. 짧은 창을 쓰는 층은 KV 캐시⁸를 적게 차지해서 긴 대화에서 메모리 부담이 줄어요. 26만 2,144토큰 문맥은 프롬프트⁹와 생성 결과를 합친 길이예요.

오픈소스 코딩 에이전트를 개인 PC에서 쓰려면 모델 점수보다 실행 환경을 먼저 확인해야 해요. 이 글은 그 순서대로 정리했어요.

노트북 화면의 채팅·코드·폴더 창이 하나의 모델 블록으로 모이고, 옆에 검은 소형 본체가 놓인 그림 — 코드베이스를 직접 읽고 고치는 에이전트라, 하네스와 도구 권한이 점수만큼 중요해요.

공식 실행 환경은 서버 GPU예요

제작사가 안내하는 실행 방법은 GGUF나 llama.cpp가 아니라 SGLang이에요. 모델을 약 80GB 내려받아 SGLang 이미지를 만들고, B300 또는 H200 GPU 한 장에서 서버를 띄워요. 주소는 127.0.0.1에 묶여 있고, 준비되면 /health_generate로 상태를 확인해요. Transformers 모델링 코드는 아직 제공되지 않는다고 명시해요.

이 안내는 개인용 PC를 전제로 쓰이지 않았어요. B300과 H200은 데이터센터용 GPU이고, 개인이 구매하는 장비와 메모리 구성이 크게 달라요. 개인 장비에서 쓰려면 별도로 배포된 quantized GGUF를 사용해야 하고, 그 경로는 제작사가 측정한 것과 다른 실행기에서 돌아가요.

제작사 점수의 측정 조건을 먼저 봐요

제작사는 Terminal-Bench 2.1에서 54.9%, SWE-bench Pro v2에서 89.7%, SWE-bench Verified에서 74.2%를 보고해요. 모델 카드는 평가 조건도 함께 적어요. 온도 1.0, top-p 0.95, top-k 20을 사용하고, Terminal-Bench는 Terminus 2, SWE-bench는 mini-swe-agent 하네스로 측정했어요. 에이전트 점수는 최소 5회 시도의 pass@1 평균이에요.

모델 카드는 비교의 한계도 직접 밝혀요. 출처마다 평가 환경이 다르고, 칼럼 속 점수 가운데 제작사가 직접 잰 것에는 표시가 붙어 있어요. Flint의 Terminal-Bench 점수는 웹 검색으로 얻은 해법을 실패로 세는 보정을 적용했고, 다른 개발사가 보고한 점수에는 같은 보정이 없을 수 있다고 적어요. 표에서 두 숫자를 나란히 비교할 때 이 차이를 감안해야 해요.

개인 장비에서는 먼저 지원 여부를 확인해요

개인 PC에서 시도하려면 두 가지를 먼저 확인하세요. 하나는 쓰려는 실행기가 이 구조를 지원하는지예요. Flint는 35개 층의 슬라이딩 윈도 어텐션과 학습된 어텐션 싱크, 헤드별 RMSNorm처럼 일반적인 llama 계열과 다른 구조를 써요. 실행기가 이 구조를 구현했는지 공식 문서에서 확인하지 않으면 파일을 받아도 오류가 나요.

다른 하나는 메모리예요. 총 39.8B 가중치를 4비트로 줄여도 원본 크기의 4분의 1 안팎이 필요해요. 26만 토큰 문맥을 끝까지 쓰려면 MoE 층의 활성 전문가만 계산하더라도 KV 캐시가 추가로 쌓여요. 짧은 코드 리뷰부터 시작해 문맥을 늘려 가며 여유를 확인하는 편이 안전해요.

케이블로 연결된 노트북과 작은 허브, 네 개 모듈이 꽂힌 검은 랙 본체 — 공식 실행 경로는 B300·H200 서버 GPU예요. 개인 PC는 별도 GGUF와 실행기를 확인해야 해요.

에이전트 하네스와 권한을 함께 봐요

코딩 에이전트 모델의 점수는 모델만으로 나오지 않아요. 어떤 하네스가 파일을 읽고 명령을 실행하며 실패를 다시 시도하는지가 결과에 함께 들어가요. 제작사도 mini-swe-agent 하네스를 썼다고 밝혀요. 내 환경에서 같은 점수를 기대하려면 하네스와 도구 권한을 맞춰야 해요.

에이전트는 셸 명령을 실행할 수 있어요. 샌드박스¹⁰나 허용 목록¹¹ 없이 저장소에 연결하면 실수로 파일을 지우거나 외부로 전송할 수 있어요. 개인 저장소라도 민감한 키가 들어 있지 않은지 먼저 확인하고, 실행 권한 범위를 좁혀 두세요.

라이선스와 재배포 조건을 확인해요

선반에 뇌 모양 상자와 종이 더미, 공구 상자, 모니터 상자가 차례로 놓이고 아래에 노트북이 있는 그림 — 26만 토큰 문맥을 쓰면 KV 캐시가 함께 쌓여요. 짧은 리뷰부터 문맥을 늘려 여유를 확인하세요.

용어 각주

MoE — 여러 전문가 하위망 중 일부를 입력에 따라 선택해 사용하는 모델 구조입니다. 총 파라미터 수와 한 토큰 처리에 활성화되는 파라미터 수는 다를 수 있습니다.
본문으로 돌아가기
토큰 — 모델이 입력이나 출력을 나누어 처리하는 단위입니다.
본문으로 돌아가기
GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기
GGUF — 모델 정보를 담는 파일 형식으로 llama.cpp 계열 도구에서 널리 사용됩니다.
본문으로 돌아가기
도구 호출 — 모델이 파일 읽기·검색·명령 실행 같은 외부 기능의 이름과 인자를 요청하는 형식입니다. 요청을 실제로 실행할지는 에이전트 런타임과 권한 설정이 결정합니다.
본문으로 돌아가기
트랜스포머 — Attention을 중심으로 입력 안의 관계를 계산하는 신경망 구조입니다. 언어 모델을 비롯해 이미지, 음성, 영상 모델에도 사용됩니다.
본문으로 돌아가기
어텐션 — 입력 토큰 사이의 관련도를 계산해 각 위치의 정보를 현재 표현에 반영하는 신경망 연산입니다.
본문으로 돌아가기
KV 캐시 — 어텐션에서 이전 토큰의 키·값을 저장해 다음 토큰 생성 때 재사용하는 메모리입니다. 문맥 길이와 배치 크기에 따라 용량이 달라집니다.
본문으로 돌아가기
프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기
샌드박스 — 프로그램이 파일·네트워크·호스트 기능에 접근하는 범위를 제한하는 격리 환경입니다. 실제 보호 범위는 마운트·네트워크·실행 권한 설정에 따라 달라집니다.
본문으로 돌아가기
허용 목록 — 미리 허용한 대상만 사용하게 하는 정책입니다. 도구·명령·사용자·네트워크 목적지 등에 적용할 수 있습니다.
본문으로 돌아가기

자주 묻는 질문

이 글에서 가장 먼저 확인할 것은 무엇인가요?: Flint는 Recursive가 2026년 10월에 공개한 코딩 에이전트용 MoE 모델이에요. 총 39.8B, 토큰당 활성 파라미터 약 2.5B이고 문맥은 26만 2,144토큰이에요. 제작사 평가로 Terminal-Bench 2.1에서 54.9%, SWE-bench Pro v2에서 89.7%, SWE-bench Verified에서 74.2%를 기록했어요. 다만 공식 실행 안내는 B300이나 H200 GPU 한 장을 전제로 하고, Transformers 모델링 코드는 아직 제공되지 않아요. 개인 PC에서 쓰려면 별도로 배포된 GGUF와 llama.cpp 계열 실행기가 필요하고, 그 경로의 성능은 제작사 수치와 다를 수 있어요.
필요한 메모리는 어느 정도인가요?: 이 안내는 개인용 PC를 전제로 쓰이지 않았어요. B300과 H200은 데이터센터용 GPU이고, 개인이 구매하는 장비와 메모리 구성이 크게 달라요. 개인 장비에서 쓰려면 별도로 배포된 quantized GGUF를 사용해야 하고, 그 경로는 제작사가 측정한 것과 다른 실행기에서 돌아가요.
조건과 출처는 어디서 확인하나요?: 제작사는 Terminal-Bench 2.1에서 54.9%, SWE-bench Pro v2에서 89.7%, SWE-bench Verified에서 74.2%를 보고해요. 모델 카드는 평가 조건도 함께 적어요. 온도 1.0, top-p 0.95, top-k 20을 사용하고, Terminal-Bench는 Terminus 2, SWE-bench는 mini-swe-agent 하네스로 측정했어요. 에이전트 점수는 최소 5회 시도의 pass@1 평균이에요.