이미지·영상 생성
최종 업데이트
MMAudio로 로컬 영상에 효과음 붙이기
8초 클립과 효과음 설명으로 시작해요.
MMAudio는 영상과 텍스트 조건을 사용해 프레임1과 동기화된 오디오를 생성해요. 공식 CLI2는 입력 영상과 프롬프트3를 받고 output/ 아래에 FLAC 오디오와 MP4 결과를 저장해요. 기본 길이 8초에 가까운 클립부터 듣고 영상과 소리가 맞는지 확인해요.
입력은 짧은 영상과 소리 설명이에요
MMAudio는 영상 또는 텍스트 입력에서 동기화된 오디오를 생성하는 연구용 도구예요. 영상에 문을 여는 장면이 있다면 A wooden door creaks open, quiet indoor room tone처럼 무엇이 언제 들려야 하는지 적어요. 공식 데모의 기본 길이는 8초이며 입력 영상과 프롬프트를 함께 주는 CLI를 사용해요. 공식 MMAudio 저장소
설치에서는 CUDA PyTorch를 먼저 맞춰요
공식 저장소는 Python 3.9 이상과 PyTorch4 2.5.1 이상, 대응하는 torchvision·torchaudio를 요구해요. 저장소 안에 만든 .venv를 활성화하고 GPU5 드라이버가 지원하는 CUDA6 버전의 PyTorch를 설치한 뒤, 패키지를 개발 모드로 설치해요. 작성자는 Ubuntu에서만 테스트했다고 밝혀요. 드라이버에 맞는 설치 명령을 고르는 PyTorch 공식 페이지
git clone https://github.com/hkchengrex/MMAudio.git
cd MMAudio
python -m venv .venv
source .venv/bin/activate
# In MMAudio/.venv, run the PyTorch install command selected at https://pytorch.org/get-started/locally/
python -m pip install -e .
cp /path/to/scene.mp4 ./scene.mp4저장된 오디오를 영상과 함께 들어봐요
설치 단계에서 /path/to/scene.mp4를 실제 파일 경로로 바꾸고, 파일을 저장소 최상위의 MMAudio/scene.mp4에 복사해요. 앞에서 만든 MMAudio/.venv를 활성화한 같은 셸에서 저장소 루트로 이동해 아래 CLI를 실행해요.
처리가 끝나면 output/에 저장된 FLAC와 MP4를 열어 효과음이 영상 동작에 맞춰 시작하는지 들어봐요. FAQ에 따르면 입력 영상의 해상도를 높여도 음질은 나아지지 않고 인코딩·디코딩 시간이 늘 수 있어요. 프레임은 인코더에 맞춰 축소·크롭되므로 먼저 화면 중앙의 소리부터 시험해요.
cd /path/to/MMAudio
source .venv/bin/activate
python demo.py --duration=8 --video=scene.mp4 --prompt "A wooden door creaks open, quiet indoor room tone"
메모리와 이용 조건을 확인해요
저장소 작성자는 기본 large_44k_v2 모델을 16-bit로 실행할 때 GPU 메모리 약 6GB가 필요하다고 안내해요. 메모리 부족이나 출력 중단이 생기면 --duration=8을 유지하고 입력 파일이 정상적으로 디코딩되는지 확인해요.
체크포인트7에는 CC-BY-NC 4.0 라이선스가 적용돼요. 제품 제작에 사용하려면 라이선스와 학습 데이터 출처 조건을 확인하세요.
용어 각주
프레임 — 영상의 한 장면을 이루는 단일 이미지입니다.
본문으로 돌아가기CLI — Command-Line Interface의 약자입니다. 터미널에 명령어를 입력해 프로그램을 조작하는 방식입니다.
본문으로 돌아가기프롬프트 — 모델에 보내는 입력문입니다. 생성 모델에서는 만들 결과를 설명하는 문장이 되어 출력의 구성과 내용을 크게 좌우합니다.
본문으로 돌아가기PyTorch — AI 모델을 만들고 실행하는 소프트웨어 프레임워크입니다. 모델과 함께 호환되는 PyTorch 버전 및 하드웨어 지원도 확인해야 합니다.
본문으로 돌아가기GPU — 많은 계산을 병렬로 처리하는 프로세서입니다. AI 모델 실행에서는 모델 계산을 맡습니다.
본문으로 돌아가기CUDA — NVIDIA GPU에서 범용 계산을 실행하기 위한 소프트웨어 플랫폼입니다.
본문으로 돌아가기체크포인트 — 학습된 모델의 가중치 등을 저장한 파일입니다. 같은 모델 계열도 버전이나 용도에 따라 다른 체크포인트를 쓸 수 있습니다.
본문으로 돌아가기
자주 묻는 질문
- 이 글에서 가장 먼저 확인할 것은 무엇인가요?
- MMAudio는 영상과 텍스트 조건을 사용해 프레임과 동기화된 오디오를 생성해요. 공식 CLI는 입력 영상과 프롬프트를 받고 `output/` 아래에 FLAC 오디오와 MP4 결과를 저장해요. 기본 길이 8초에 가까운 클립부터 듣고 영상과 소리가 맞는지 확인해요.
- 필요한 메모리는 어느 정도인가요?
- 저장소 작성자는 기본 `large_44k_v2` 모델을 16-bit로 실행할 때 GPU 메모리 약 6GB가 필요하다고 안내해요. 메모리 부족이나 출력 중단이 생기면 `--duration=8`을 유지하고 입력 파일이 정상적으로 디코딩되는지 확인해요.
- 조건과 출처는 어디서 확인하나요?
- 체크포인트에는 CC-BY-NC 4.0 라이선스가 적용돼요. 제품 제작에 사용하려면 라이선스와 학습 데이터 출처 조건을 확인하세요.