Neural Engineは実際に動いている？Core MLの実行先を確認する

Xcodeでモデルを開いてPerformanceへ移動します。左下の追加ボタンからMy Macを選び、Compute UnitsをAllにしてRun Testを実行してください。完了するとPrediction、Load、Compilationと演算の配置が表示されます。

テスト中にほかの処理が入らないよう、不要なアプリを閉じます。レポートができたら、機器名、macOS・Xcodeのバージョン、モデルファイル名を記録します。モデルファイルを変えずCompute Unitsだけを変更すると、実行装置を変えた効果を比較しやすくなります。

同じモデルでCPU and GPUとCPU and Neural Engineのレポートを追加します。Core MLは許可した装置へ演算を配置するため、時間と配置を一緒に読みます。Core MLの実行設定

レポートのANE欄で実行の表示がある演算を探します。All設定でも、時間のかかる演算がCPU・GPU・ANEのどこに配置されたかを確認し、ほかの2設定のPrediction時間と比べます。出力も正常なら、その中で速い設定を選びます。

Compilationは実行用にモデルを準備する時間、Loadは準備したモデルを読み込む時間、Predictionは入力を計算する時間です。初回が長い場合はダウンロード時間を別に記録し、レポートではこの3項目を分けて確認します。アプリの起動ごとに読み込むか、一度読み込んで使い続けるかによって、待ち時間も変わります。

レポートではMedianやFirstなどを選べます。通常の利用には繰り返しの中央値、頻繁に起動するアプリには初回実行とキャッシュなしの読み込みも記録します。読み込み済みモデルの予測時間だけでは、アプリを開くときの待機が抜けます。

速い構成が見つかったら、アプリで同じ録音や画像を処理します。前処理、ファイル読み込み、結果表示を含む完了時間を記録します。文字起こしなら抜けた箇所や誤認識も確認し、改善を採用するか決めてください。

レポートが作れない場合は、モデルの取得が完了したか、選んだmacOS・Xcodeがそのモデルに対応するか確認します。CPU onlyのレポートを追加すれば、まずモデル自体が動くか調べられます。特定の装置だけで失敗するときは、そのレポートのエラーとモデルのバージョンを記録して原因を調べます。