Apple Minions란? 쉬고 있는 Mac으로 AI 작업을 나눠 처리하는 방법

임베딩은 문서의 내용을 검색에 쓸 숫자 벡터로 바꾸는 작업이에요. 문서마다 같은 모델로 벡터를 만들면, 나중에 질문과 가까운 문서를 찾을 수 있죠. 문서 묶음을 각각 처리할 수 있으므로 여러 Mac이 서로 다른 문서를 맡기 좋은 작업이에요.

문서 검색을 만들기 전에 문서 ID와 모델 버전, 문서를 자르는 기준을 정하세요. 모든 Mac이 같은 기준으로 벡터를 만들어야 한 검색 인덱스에서 비교할 수 있어요. 결과에도 문서 ID를 남기면 작업을 다시 실행했을 때 중복 결과를 찾아 정리하기 쉬워요.

Minions의 공개 구성은 임베딩 생성에 Hugging Face Transformers, LLM 요청에 각 Mac의 Ollama를 사용해요. 각 실행 기기가 필요한 모델을 받아 두고 자신이 가져온 작업을 계산해요. 연구 논문

모델이 한 대의 메모리에 들어가지 않는다면 모델 분할을 지원하는 런타임³이 필요해요. 각 Mac에서 모델을 실행할 수 있고 처리할 문서가 많다면 문서별로 일을 나눠 맡길 수 있어요. 더 큰 모델을 실행하려는지, 같은 모델로 문서를 더 많이 처리하려는지에 따라 필요한 구성이 달라져요.

공개 설계는 입력과 결과를 S3에 보관하고, 서버와 PostgreSQL로 작업 상태를 관리해요. 조직마다 작업에 참여할 Mac을 따로 지정할 수 있어요. 사내 문서를 처리한다면 참여 기기를 정하고, 저장소와 작업 기록에 접근할 사람도 그 업무 담당자에 맞춰 제한하세요.

개인 Mac끼리 분담하는 실험이라면 공개 문서부터 사용하세요. 원문을 어디에 복사하는지, 결과와 로그를 언제 지우는지 정한 뒤 민감한 문서로 범위를 넓히면 돼요. 로컬 추론을 맡기는 기기와 파일을 전달하는 경로를 함께 관리해야 해요.

팀이 매일 문서를 일괄 처리한다면 문서 한 개의 응답 속도보다 묶음 전체가 끝나는 시간을 기록하세요. 모델을 처음 받는 시간, 대기열에서 기다린 시간, 실제 추론 시간, 결과를 모으는 시간을 따로 적으면 어디서 시간을 아꼈는지 알 수 있어요. 문서 수만 늘리고 실패·재실행된 문서를 빼면 처리량⁴을 잘못 판단할 수 있어요.

여러 Mac을 오래 켜 두면 소비전력도 늘어요. 각 Mac의 실제 가동 시간과 전력을 전기요금 계산기에 입력하고, 이미 쓰는 서버와 전체 완료 시간·월 비용을 비교하세요. 작업이 한 대에서 제시간에 끝난다면 분산 구성의 관리 비용부터 따져보는 편이 좋아요.