로컬 음악 생성 모델 비교: 노래, 연주곡, 효과음

보컬이 있는 전곡, 반주 루프, 배경음, 효과음은 입력과 출력 요구가 다릅니다. 가사 중심이라면 가사 조건과 섹션 전개를 확인하고, 장면 효과음이라면 시간 제한·텍스트 프롬프트·오디오 형식을 확인하세요. 같은 문장만 넣어 품질 순위를 매기기보다 각 모델의 공식 입출력을 맞춰 비교합니다.

로컬은 코드와 가중치를 받아 내 장치에서 추론한다는 뜻입니다. 최초 다운로드에는 인터넷이 필요하고, 서버를 다른 사람에게 공개하는 일은 별개입니다. 체크포인트¹ 크기와 파일 라이선스를 확인하고 결과 파일을 프로젝트별로 보관하세요.

ACE-Step 1.5는 설명과 가사로 곡을 만들고 커버·편집 기능을 소개합니다. 50개 이상 언어, 최대 10분은 모델 카드의 범위 설명이며 언어별 품질이나 모든 장치의 실행 보장은 아닙니다.

HeartMuLa 3B는 가사와 태그 파일을 사용하며 기본 최대 길이는 240,000ms입니다. 공식 저장소가 현재 추론 속도를 RTF² 약 1.0으로 설명하므로 긴 곡을 몇 초에 만든다고 볼 근거는 없습니다. lazy load는 메모리 사용을 낮추는 방법이지 속도 보장이 아닙니다.

YuE2는 가사에서 악보를 계획하고 48kHz 스테레오를 합성하며 악보 수정과 커버 예가 있습니다. 공식 기본 경로는 Linux, Python 3.12, BF16³ 지원 NVIDIA GPU⁴ 24GB입니다.

공식 모델 카드의 일반 생성 속도 표에서는 RTX 4090 24GB로 3분 35초 오디오를 평균 32회 웜 실행⁵해 71.04초에 생성했고 피크 VRAM⁶은 11.18GiB였습니다. 양자화⁷ 없는 PyTorch⁸ 2.10 실행이며 오디오 길이 대비 약 0.33배 시간이 걸린 수치입니다.

초기 로딩은 제외됐고 한 번에 한 곡씩 처리합니다.

아래 점수는 YuE 공식 WildSongBench 문서와 YuE2 모델 카드의 2026년 9월 12일 자동 평가입니다. 같은 192개 프롬프트 결과를 다루지만 사람의 취향 평가나 연산량을 맞춘 비교는 아닙니다.

표준 YuE2와 공개 모델 기준선은 각 2개 후보를 생성해, 후보마다 네 차례 ASR⁹ 평가로 계산한 PER¹⁰가 낮은 쪽을 고르는 절차를 사용합니다. best-of-8¹¹은 음악성·프롬프트 제어·PER로 선택하므로 기본 설정과 직접 견주지 않습니다. 참고로 best-of-8 수치(SongBench Avg 6.9632, PER 9.79%)는 별도 선택 절차의 결과입니다.

벤치마크는 YuE2-Vae¹²-legacy 디코더를 썼고, 평소 기본값은 지각 음질이 나은 YuE2-Vae입니다. 지표는 모두 자동 평가이며 사람의 보편적인 음질 판단으로 볼 수 없습니다.

Stable Audio Open 1.0은 최대 47초 길이의 44.1kHz 스테레오를 텍스트로 생성합니다. 모델 카드는 효과음과 음악 소재를 의도된 사용으로 설명하며 프롬프트 언어는 영어입니다. 효과음과 인스트 한 구간에는 후보지만 가사 중심 완성곡을 대체하지는 않습니다. 가중치 접근 전에 Hugging Face 라이선스 조건 동의가 필요합니다.

MusicGen은 300M·1.5B·3.3B와 텍스트·멜로디 조건 변형이 있습니다. 공식 모델 카드는 현실적인 보컬이 어렵고 영어 외 언어에서 성능이 낮을 수 있다고 적습니다. AudioCraft 문서는 medium 모델에 VRAM 16GB 이상을 안내합니다. 배경음 아이디어나 연구 실험에 더 어울립니다.

ACE-Step은 표준 2B DiT¹³의 4GB/6GB 시작 기준 외에 XL 4B DiT를 제공합니다. 최신 NVIDIA 표에서 XL은 16–20GB 구간 CPU¹⁴ 오프로딩¹⁵, 20GB 이상은 오프로딩 없이 권장되며, 24GB 이상은 4B LM도 권장됩니다.

Apple Silicon은 MPS 외에 전용 MLX¹⁶ 시작 스크립트가 있습니다. YuE2는 Linux와 NVIDIA 24GB BF16, MusicGen medium은 VRAM 16GB 이상을 공식 문서에 명시합니다.

Stable Audio Open와 HeartMuLa 공식 문서에는 모든 설정에 공통인 최소 VRAM 수치가 없습니다. 모르는 사양을 저사양 지원 또는 고사양 필수로 바꾸지 말고 체크포인트별 실행 안내를 확인하세요. Apple Silicon은 MLX 경로를 짧게 시험하되 NVIDIA VRAM 표와 직접 비교하지 마세요.

YuE2의 현행 README는 코드·문서를 Apache 2.0, YuE2-3B/VAE 가중치를 CC BY-NC 4.0과 추가 creator permission으로 구분합니다. 과거 YuE 라이선스 발표를 현재 YuE2에 적용하지 마세요. MusicGen 코드의 MIT는 가중치에 적용되지 않으며, 가중치는 CC BY-NC 4.0입니다.

Stable Audio Open은 Stability AI Community License를 쓰며 카드에서 상업 사용 시 별도 라이선스를 안내합니다. HeartMuLa 저장소는 코드와 관련 가중치를 Apache 2.0으로 명시하고 ACE-Step 1.5 카드에는 MIT가 적혀 있습니다. 정확한 체크포인트의 조건을 다시 확인하세요.

학습 데이터, 참조 가사·음원, 목소리 모방과 게시 플랫폼의 정책은 모델 라이선스와 별개일 수 있습니다. 수익화나 음원 공개 전에 관련 조건을 원문으로 확인하세요.

보컬곡 입문은 ACE-Step, 가사·태그 파일 기반 실험은 HeartMuLa, 24GB Linux/NVIDIA와 악보 제어는 YuE2를 먼저 보세요. 47초 이내 효과음과 음악 요소는 Stable Audio Open, 텍스트·멜로디 기반 배경 음악 실험은 MusicGen이 후보입니다. 이는 기능·환경을 기준으로 한 선택 경로이며 음질 순위가 아닙니다.

직접 비교한다면 비슷한 길이와 장르 조건을 맞추고, 각 모델이 지원하는 입력도 기록하세요. 생성 시간, 메모리, 한국어 가사 가독성, 샘플레이트, 편집 난이도를 비교합니다. 공식 문서에 없는 메모리나 시간은 미확인으로 남기세요.

먼저 같은 목표를 가진 두 모델만 골라 설치 부담을 줄입니다. 가사곡은 같은 짧은 가사와 장르, 효과음은 같은 소리 묘사와 목표 길이를 사용하되, 각 모델이 요구하는 입력 방식에 맞게 변환합니다. 첫 실행은 다운로드와 모델 초기화가 포함될 수 있으므로 본 생성 시간과 별도로 적고, 오류 없이 파일이 저장되는지 확인하세요.

비교 노트에는 모델·체크포인트, 코드 버전, 장치, 설정, 출력 길이, 생성 시간, 최대 메모리, 청취 인상을 기록합니다. 공개 주장과 직접 측정은 구분하고 미측정 항목을 추정값으로 채우지 마세요. 배포할 오디오라면 적용 라이선스와 입력 자료 검토 결과도 남깁니다.