먼저 읽기
최종 업데이트
맥 뉴럴엔진으로 로컬 AI를 돌릴 수 있나요? GPU·MLX와 역할 나누기
뉴럴엔진을 활용하려면 그 장치에 맞는 모델과 실행 프로그램을 골라요.
Apple Neural Engine1은 신경망 계산을 처리하는 전용 연산 장치예요. Core ML2 기반 음성인식 도구와 일부 LLM3 실행 프로젝트에서 활용할 수 있어요. Mac에서 AI를 빠르게 쓰려면 원하는 작업을 정하고 GPU4·뉴럴엔진 가운데 실행 프로그램5이 어떤 장치를 사용하는지 확인하는 것부터 시작하면 돼요.
이미 Mac에서 LLM을 쓰고 있다면 실행 엔진 이름부터 살펴보세요. MLX6 모델을 Metal7 GPU로 실행하는 경로, Core ML 변환 모델을 뉴럴엔진에 배치하는 경로, 프리필8 일부만 GPU와 뉴럴엔진에 나누는 경로가 있어요. 같은 Mac에서도 선택한 앱과 모델 형식에 따라 계산을 맡는 장치가 달라져요.
받아쓰기와 요약을 나눠 실행해요
녹음을 글로 바꾸는 ASR9에는 음성을 인식하는 모델과 결과를 정리하는 프로그램이 필요해요. WhisperKit은 Whisper를 Core ML로 실행하고, FluidAudio는 Parakeet 등 음성 모델을 실행해요. 사용할 모델을 골랐다면 Core ML 보고서에서 뉴럴엔진에 배치되는 연산을 확인해 보세요. 음성 처리와 GPU의 다른 작업을 나눠 쓸 수 있을지 판단하는 데 도움이 돼요.
회의록을 요약한다면 먼저 ASR로 녹음을 글로 바꾸고, 그 글을 LLM에 보내 요약하게 해요. 실시간 자막까지 띄우려면 두 단계가 겹쳐 실행될 수 있으므로, 받아쓰기와 요약을 함께 켰을 때 지연을 비교하세요. WhisperKit, FluidAudio
LLM에서는 입력 읽기부터 나눠 처리해요
긴 문서에 질문하면 모델은 입력을 읽는 프리필을 거친 뒤 답변을 생성해요. Splash처럼 지원 모델의 프리필 계산 일부를 GPU와 뉴럴엔진으로 나누는 엔진이 있어요. 이 구성이 줄이려는 시간은 긴 문서를 보낸 뒤 첫 답이 나올 때까지의 대기예요. Splash
ANE용 LLM을 직접 시험하려면 ANEMLL의 변환 모델과 샘플을 사용할 수 있어요. 모델 구조와 문맥 길이, 변환 방식에 맞춰 준비된 파일을 사용하는 개발자용 경로예요. 평소 대화가 목적이라면 현재 GPU 실행을 기준으로 삼고, 긴 글을 보낸 뒤의 대기부터 비교하면 시작하기 좋아요. ANEMLL
M5 GPU의 Neural Accelerators는 어디에 쓰나요?
M5 GPU의 각 코어에는 행렬 계산을 가속하는 Neural Accelerators가 있어요. MLX는 Metal 4의 TensorOps와 Metal Performance Primitives를 이용해 이 GPU 기능을 활용해요. Apple이 공개한 M5 MLX 성능 설명은 이 GPU 경로를 다뤄요. Apple MLX·M5
M5 GPU의 Neural Accelerators를 활용하는 앱은 GPU에서 계산해요. 뉴럴엔진을 사용하는지 알고 싶다면 Core ML 보고서에서 ANE에 배치된 연산을 확인하세요. 새 Mac을 고를 때도 칩의 TOPS 숫자와 함께, 내가 쓸 모델이 어느 장치에서 실행되고 작업을 얼마나 빨리 끝내는지 비교하는 편이 유용해요.
실행할 앱부터 고르고 같은 작업으로 비교하세요
한국어 녹음의 받아쓰기는 다국어 WhisperKit 모델부터, 여러 음성 기능을 앱에 넣으려면 FluidAudio부터 살펴보세요. 긴 문서를 LLM에 자주 보낸다면 Splash의 프리필 분담 방식도 비교할 수 있어요. 하려는 작업을 정한 뒤 그 기능을 지원하는 모델과 프로그램을 고르면 돼요.
처음 모델을 받고 컴파일하는 데 걸린 시간은 따로 적어두세요. 준비가 끝나면 같은 녹음이나 문서를 두 번 실행해 첫 실행과 반복 실행의 완료 시간·결과를 비교해요. 평소 함께 쓰는 앱을 켠 상태에서도 같은 작업을 시험해 보세요. 계산을 맡은 장치까지 자세히 보려면 다음 Core ML 점검 가이드를 따라가면 돼요.
용어 각주
뉴럴엔진 — Apple Silicon에 들어 있는 신경망 계산 전용 장치입니다.
본문으로 돌아가기Core ML — Apple 기기에서 머신러닝 모델을 실행하는 프레임워크입니다.
본문으로 돌아가기대규모 언어 모델 — 대규모 텍스트 데이터에서 언어 패턴을 학습해 문맥에 맞는 텍스트를 처리하고 생성하는 모델입니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기런타임 — 프로그램이 실행될 때 필요한 기능을 제공하는 소프트웨어 환경입니다. 로컬 AI에서는 모델을 실행하는 엔진을 가리키기도 합니다.
본문으로 돌아가기MLX — Apple이 개발하는 머신러닝 프레임워크로, Apple Silicon의 CPU와 GPU가 공유하는 메모리를 활용해 모델을 실행합니다.
본문으로 돌아가기Metal — Apple 기기에서 그래픽과 GPU 병렬 계산을 실행하는 저수준 기술입니다.
본문으로 돌아가기프리필 — LLM이 입력 프롬프트를 읽고 각 토큰의 내부 표현을 계산하는 단계입니다. 입력이 길수록 처리할 토큰이 많아집니다.
본문으로 돌아가기자동 음성 인식 — 음성에서 발화를 인식해 텍스트로 변환하는 기술입니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- Apple Neural Engine은 신경망 계산을 처리하는 전용 연산 장치예요. Core ML 기반 음성인식 도구와 일부 LLM 실행 프로젝트에서 활용할 수 있어요. Mac에서 AI를 빠르게 쓰려면 원하는 작업을 정하고 GPU·뉴럴엔진 가운데 실행 프로그램이 어떤 장치를 사용하는지 확인하는 것부터 시작하면 돼요.