LFM3-Audio-2B: 1GB로 듣고 말하는 음성 모델

LFM3-Audio-2B는 입력이 텍스트나 16kHz 음성이고, 출력이 텍스트나 24kHz 음성이에요. 둘을 섞어 낼 수도 있어서, 답을 소리로 하면서 화면에는 글자로 남길 수 있어요.

자체 오디오 인코더와 LiquidCodec 토크나이저를 써요. 인코더가 완전 인과 구조라서 말하는 동안에도 미리 계산할 수 있고, 이게 지연을 줄이는 핵심이에요.

음성은 80ms가 12토큰으로 압축돼요. 32K 문맥을 음성으로만 채우면 3분 40초 남짓이라, 긴 회의는 구간을 나눠 넣어요.

GGUF는 Q4_0 1.05GB, Q4_K_M 1.1GB, Q8_0 1.85GB예요. 여기에 오디오 인코더인 mmproj가 Q8_0 기준 0.34GB 붙어요.

메모리는 4비트 파일과 인코더를 합쳐 1.4GB 남짓이에요. 8GB 맥에서 모델을 띄워 두고 브라우저를 같이 열어도 남아요.

파이썬에서 Transformers로 올리면 bf16³ 가중치가 4GB예요. 1.4GB는 GGUF와 인코더를 llama.cpp로 올릴 때의 숫자라서, 두 경로를 섞으면 메모리 계산이 어긋나요.

시스템 프롬프트⁴에 Perform ASR in Korean.처럼 언어를 적으면 그 언어로 받아써요. 언어를 비우고 Perform ASR.만 쓰면 모델이 추론해요.

실시간 받아쓰기는 아직 영어만 돼요. 0.96초 청크로 잘라 넣으면 말하는 동안 글자가 나오고, 30초가 넘어가면 문맥을 새로 열어요.

녹음 파일을 한 번에 넣는 방식과 실시간 스트림 방식은 코드가 달라요. 실시간 쪽은 상태를 다음 호출로 넘기면서 조각마다 결과를 받아요.

from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "LiquidAI/LFM3-Audio-2B"
model = AutoModelForMultimodalLM.from_pretrained(
    model_id, trust_remote_code=True).eval()
processor = AutoProcessor.from_pretrained(
    model_id, trust_remote_code=True)

conversation = [
    {"role": "system", "content": "Perform ASR in Korean."},
    {"role": "user", "content": [{"type": "audio", "audio": "meeting.wav"}]},
]
inputs = processor.apply_chat_template(
    conversation, add_generation_prompt=True,
    tokenize=True, return_dict=True, return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=1024,
    suppress_mixed=True, suppress_audio_out=True,
    return_dict_in_generate=True)
text = processor.decode(
    out.sequences[0, inputs["input_ids"].shape[1]:],
    skip_special_tokens=True)
print(text)

합성은 시스템 프롬프트에 언어와 성별을 적고, 어시스턴트 턴을 <|audio_start|>로 채워요. Perform TTS in American English using a female voice. 같은 형태예요.

샘플링은 audio_temperature 1.0, audio_top_k 128, 반복 페널티 1.1, 창 4096을 써요. 텍스트만 필요하면 suppress_mixed와 suppress_audio_out을 켜요.

import soundfile as sf

codec = processor.audio_tokenizer.eval()

conversation = [
    {"role": "system", "content": "Perform TTS in Korean using a female voice."},
    {"role": "user", "content": "오늘 회의는 세 시에 시작합니다."},
    {"role": "assistant", "content": "<|audio_start|>"},
]
inputs = processor.apply_chat_template(
    conversation, continue_final_message=True,
    tokenize=True, return_dict=True, return_tensors="pt")
out = model.generate(**inputs, max_new_tokens=256,
    audio_temperature=1.0, audio_top_k=128,
    audio_repetition_penalty=1.1, audio_repetition_window=4096,
    return_dict_in_generate=True)
waveform = codec.decode(
    out.audio_codes[:1, :, :out.audio_lengths[0]]).audio_values[0]
sf.write("tts.wav", waveform.float().cpu().numpy(), 24_000)

인과 인코더가 말하는 동안 프리필⁵을 해서, 말이 끝난 뒤 기다리는 시간이 줄어요. 첫 토큰은 50ms까지 내려가요.

LiquidCodec은 M4 Max CPU⁶ 한 스레드에서 실시간의 87배로 음성을 만들어요. 80ms를 12토큰으로 압축하고 토큰을 나란히 예측해서, 생성과 재생이 겹쳐요.

말로 물으면 텍스트와 음성을 같이 돌려줘요. 스트리밍이라 문장이 끝나기 전에 소리가 나오기 시작해요.

말한 요청을 도구 호출⁷로 바꿀 수도 있어요. 조명을 꺼 달라는 말이 구조화된 호출이 되고, 결과를 다시 말로 읽어 줘요.

도구 결과가 길면 그만큼 읽어 줘야 해요. 답을 짧게 유도하는 시스템 프롬프트가 지연에 바로 영향을 줘요.

도구를 붙일 때는 시스템 프롬프트에 Respond with function calls, and interleaved text and audio.를 넣고 도구 목록을 이어 붙여요. 이때는 어시스턴트 턴을 비워 두고 모델이 호출과 음성 중 무엇으로 시작할지 고르게 해요.

받아쓰기 정확도만 보면 전용 모델이 나아요. 영어 WER 6.23%는 Voxtral Mini 3B의 5.51%보다 높아요.

도구 호출 58.50은 Gemma 4 E4B의 72.40보다 낮고, 오디오 이해 50.60은 Qwen2.5-Omni 3B의 54.41보다 낮아요.

대신 VoiceBench 73.13과 합성 품질 3.83은 비교 모델보다 높아요. 한 모델로 듣고 말하는 흐름을 만들 때 값이 나와요.