Apple Minionsとは？空いているMacでAI処理を分担する仕組み

埋め込みは文書の内容を検索用の数値ベクトルへ変える処理です。同じモデルで文書のベクトルを作れば、後で質問に近い文書を探せます。文書のまとまりごとに独立して処理できるため、複数のMacで分担しやすい仕事です。

文書検索を作る前に、文書IDとモデルのバージョン、文書を区切る基準を決めます。各Macが同じ基準でベクトルを作れば、一つの検索インデックスで比較できます。結果にも文書IDを残しておくと、再実行後の重複を見つけて整理しやすくなります。

公開構成では埋め込みにHugging Face Transformers、LLM処理に各MacのOllamaを使います。実行機器が必要なモデルを保存し、取得した仕事を計算します。研究論文

モデルが1台のメモリに収まらない場合は、モデル分割に対応したランタイム³が必要です。各Macでモデルを実行でき、処理する文書が多いなら、文書ごとに仕事を分担できます。大きなモデルを動かしたいのか、同じモデルで多くの文書を処理したいのかによって構成が変わります。

公開設計では入力と結果をS3に保存し、サーバーとPostgreSQLで処理状況を管理します。組織ごとに参加するMacを指定できます。社内文書を扱う場合は参加機器を決め、保存先と処理記録にアクセスできる人も、その業務の担当者に合わせて制限します。

個人のMacで試すなら、まず公開文書を使います。原文のコピー先、結果とログの削除時期を決めてから、機密文書へ対象を広げてください。推論する機器とファイルを渡す経路を一緒に管理します。

毎日の一括処理なら、文書1件の応答速度より全件の完了時間を記録します。モデル取得、キュー待機、推論、結果収集を分けると、短縮した部分が分かります。処理量を評価するときは失敗や再実行した文書も含めます。

複数のMacを長く動かせば電力使用も増えます。各Macの稼働時間と消費電力を電気料金計算機へ入力し、既存サーバーと全件の完了時間・月額費用を比べてください。1台で期限に間に合うなら、分散構成の管理負担を先に検討します。