Mac을 실시간 AI 음악 악기로 쓰기: Magenta RealTime 2

키보드로 코드 진행을 연습하면서 그 위에 어울리는 앙상블을 듣고 싶다고 해보겠습니다. 일반적인 텍스트-음악 생성기는 ‘잔잔한 현악 배경음 30초’처럼 요청한 뒤 결과 파일이 완성될 때까지 기다립니다. Magenta RealTime 2(MRT2)는 건반에서 누르는 음이나 MIDI 신호에 맞춰 실시간으로 음악을 이어 갑니다. 곡 하나를 만들어 저장하는 작업보다, 연주하면서 모델의 소리를 조절하는 악기 역할에 가깝습니다.

이 차이는 어떤 장비와 수치를 봐야 하는지도 바꿉니다. 오프라인 생성이라면 곡 길이와 파일 완료 시간이 중요하지만, 실시간 연주에서는 키를 누른 뒤 소리가 따라오는지, 연주하는 동안 끊기지 않는지, 입력을 바꾸었을 때 음악이 반응하는지를 확인해야 합니다.

MRT2는 2026년 6월 4일 공개됐습니다. 모델 가중치뿐 아니라 Python 라이브러리, MLX¹ 기반 C++ 추론 엔진, Jam·Collider 앱과 AU 플러그인도 제공됩니다. 여기서는 코드를 빌드하지 않고 설치 번들로 짧은 코드 연주를 확인한 뒤 DAW에서 MIDI 트랙에 플러그인을 연결하는 경로를 다룹니다.

두 모델은 크기와 실시간 지원 범위가 다릅니다. Small은 230M 파라미터이고 Apple Silicon MacBook 전반, MacBook Air 포함에서 실시간 실행을 지원한다고 안내됩니다. Base는 2.4B로 더 큰 모델입니다. 공식 저장소 하드웨어 표에서 Base 실시간 항목에 열거한 Mac은 M2 Max, M3 Max, M4 Pro, M5 Max입니다. 이 표에 없는 기종은 칩 이름의 세대나 Pro·Max 서열만으로 지원을 추정하지 말고, 릴리스와 기기별 표를 다시 확인하세요. 공식 출시 소개 페이지에는 ‘M3 Pro 이상 또는 M2 Max 이상’이라는 더 포괄적인 문구도 있으므로, 여기서는 보다 구체적인 저장소 표를 기준으로 삼습니다.

여기서 ‘지원되지 않음’은 Base 모델을 아예 실행할 수 없다는 뜻과 같지 않습니다. 공식 README는 두 모델 모두 Apple Silicon이나 NVIDIA GPU²에서 Python 라이브러리를 통한 오프라인 추론이 가능하다고 설명합니다. 실시간 스트리밍보다 느리게 파일을 생성하는 경로가 열려 있다는 뜻입니다. 키보드 연주에 맞춰 소리를 듣는 목적이라면 실시간 지원 기기인지가 선택의 기준이고, 반응을 기다려도 되는 오프라인 시험이라면 별도 경로를 확인할 수 있습니다.

모델 크기만 보고 결정을 끝내지 않습니다. 설치 번들의 Base 가중치는 약 2.5GB, Small은 약 450MB이며 첫 실행 때 내려받습니다. 디스크 여유와 첫 다운로드 대기는 실행 중 메모리와 다릅니다. 작은 체크포인트³가 나의 입력 방식과 소리 선택에 충분한지 먼저 시험하고, Base 실시간 지원 장비를 이미 보유한 경우에만 그 모델을 비교하는 편이 불필요한 구매를 줄입니다.

음악을 직접 연주해 확인하려면 공식 앱 번들이 가장 짧은 경로입니다. Apple Silicon용 macOS 번들을 내려받아 압축을 풀고 Jam 앱을 실행합니다. 처음 시작할 때 모델 가중치를 받아오므로 곧바로 반응하지 않더라도 앱이 멈췄다고 단정하지 말고 다운로드가 끝나는지 기다립니다. Small 가중치는 약 450MB, Base는 약 2.5GB라고 앱 안내에 적혀 있습니다.

Jam은 스타일 프리셋과 MIDI 제어를 제공하는 독립 앱입니다. 먼저 한 음이나 짧은 코드를 누른 채 유지해 소리가 이어지는지 듣고, 스타일 프롬프트는 한 번에 하나만 바꿉니다. 입력 음을 바꾸었을 때 앙상블의 화음이 따라오는지, 프롬프트의 질감이 달라지는지 확인하면 모델과 오디오 출력이 기본적으로 작동하는지 알 수 있습니다. 정확한 프리셋 이름이나 화면 배치는 버전에 따라 달라질 수 있으므로 앱에서 제공되는 조작만 사용합니다.

소리가 안 나면 모델 설치와 오디오 출력, MIDI 입력을 나누어 봅니다. 먼저 앱의 모델 다운로드가 끝났는지 확인하고, Mac의 출력 장치에서 현재 선택한 스피커나 헤드폰이 음소거되지 않았는지 확인합니다. MIDI 키보드를 쓴다면 앱이나 시스템이 장치를 인식하는지 먼저 살펴봅니다. 여러 요소를 한꺼번에 바꾸기보다 내장 입력 또는 단순한 MIDI 음 하나로 소리가 나는지 확인하면 문제가 생긴 지점을 좁힐 수 있습니다.

독립 앱에서 소리가 났다면 DAW 프로젝트에 연결합니다. 번들에 포함된 MRT2 AU 플러그인을 Applications 폴더에 두고 실행해 등록한 다음, DAW에서 AU 플러그인 목록을 새로 고칩니다. 빈 MIDI 트랙을 만들고 악기 슬롯에 MRT2를 불러옵니다. 키보드 컨트롤러가 있다면 MIDI 입력으로 연결하고, 없다면 DAW의 피아노 롤에서 음 하나를 입력해 같은 작업을 시험합니다.

오디오 샘플률은 48kHz로 맞춰야 합니다. AU 플러그인에서는 DAW 프로젝트의 오디오 설정을, 독립 앱에서는 macOS Audio MIDI Setup의 장치 설정을 확인하라고 공식 설치 안내가 설명합니다. 44.1kHz 프로젝트에서 플러그인을 열었는데 소리가 없거나 재생이 이상하다면 먼저 샘플률을 확인합니다. 다른 오디오 설정까지 동시에 바꾸면 무엇이 문제였는지 알아보기 어려우므로, 프로젝트를 복사해 샘플률만 변경하고 같은 MIDI 구간을 재생합니다.

MRT2는 MIDI Steering 외에도 텍스트 설명으로 재생 가능한 MIDI 악기를 만들거나 짧은 오디오 입력을 참고하는 기능을 안내합니다. 기능이 사용 중인 플러그인 버전에서 어느 메뉴로 제공되는지 확인하고, 우선 한 가지 입력만 사용합니다. 짧은 음을 누르고 풀었을 때 반주가 어떻게 변하는지 듣고, 이어서 텍스트 스타일을 바꿔 보면 MIDI 제어와 질감 조절의 차이를 분리할 수 있습니다.

공식 비교표는 MRT2의 제어 지연을 약 200ms, 프레임⁴ 크기를 40ms로 제시하며 첫 버전은 약 3초 제어 지연과 2초 프레임이었다고 비교합니다. 이는 모델이 계속 생성하는 소리에서 사용자의 입력이 반영되기까지의 반응을 설명합니다. 키보드에서 화음을 바꾼 순간과 소리가 바뀌는 순간 사이의 대기와 관련이 있지만, DAW의 오디오 버퍼, 오디오 인터페이스, 스피커 출력 지연까지 모두 더한 내 컴퓨터의 총 지연이라고 할 수는 없습니다.

내 연주에서 반응을 살피려면 같은 짧은 MIDI 구간을 여러 번 재생해 모델이 계속 따라오는지 듣습니다. 공식값과 직접 체감한 결과를 구분해 메모하고, DAW 샘플률이 48kHz인지, 플러그인과 모델 버전이 무엇인지 남깁니다. 모델 자체의 제어 지연이 낮더라도 오디오 장치 버퍼가 크거나 시스템이 다른 작업으로 바쁘면 연주 느낌은 달라질 수 있습니다. 약 200ms를 악기 한 음의 고정된 지연 보증으로 사용하지 않습니다.

완성곡 생성 시간과 비교하려 한다면 먼저 작업 자체가 다르다는 점을 기억합니다. MRT2는 입력을 받는 동안 오디오를 이어 출력하므로 ‘4초 분량을 몇 초에 만들었는가’ 같은 한 번의 파일 생성 속도가 주된 평가 지표가 아닙니다. 여기서는 키 입력에 따라 반주가 바뀌는지, 몇 분 연주하는 동안 재생이 끊기지 않는지, 스타일 변경이 실제 소리에 반영되는지를 기록해야 합니다.

이미 Apple Silicon Mac을 가지고 있다면 먼저 Small 모델을 Jam 앱에서 시험하세요. MacBook Air를 포함한 Apple Silicon Mac에서 실시간 실행이 가능하다고 안내되므로, 연주 입력에 반응하는 모델을 경험하기 위해 Base 지원 기기를 새로 살 필요는 없습니다. 작은 모델의 소리와 입력 반응이 목적에 충분하면 그 구성이 선택을 끝냅니다.

Base의 더 큰 모델을 실시간으로 쓰고 싶을 때에만 공식 호환표를 비교합니다. M2 Max, M3 Max, M4 Pro, M5 Max가 해당 표의 열거 기기인지 확인하고, 목록에 없는 기종은 세대 서열로 지원을 가정하지 않습니다. Base가 오프라인으로 동작하는 것과 연주에 맞춰 실시간 재생을 유지하는 것은 다른 기준입니다.

따라서 시작 질문에 대한 답은 분명합니다. MIDI 연주에 반주를 붙이고 싶다면 MRT2는 로컬 Mac에서 시험할 수 있는 악기형 모델입니다. Small은 폭넓은 Apple Silicon 지원으로 먼저 확인하기 좋고, Base는 공식 기기 표를 확인한 뒤 판단하세요. DAW로 쓸 때는 AU 등록과 48kHz 설정을 첫 점검 지점으로 삼습니다.