摘要

本文介绍了FunAudioLLM，一个旨在增强人类与大型语言模型（LLMs）之间自然语音交互的模型家族。核心模型包括SenseVoice，用于多语言语音识别、情感识别和音频事件检测；以及CosyVoice，用于自然语音生成，支持多种语言、音色、说话风格和说话者身份的控制。这些模型已开源，并提供了训练、推理和微调代码，通过集成这些模型与LLMs，FunAudioLLM推动了语音交互技术的发展，实现了如语音到语音翻译、情感语音聊天、互动播客和富有表现力的有声书叙述等应用。

原理

FunAudioLLM的工作原理基于两个关键模型：SenseVoice和CosyVoice。SenseVoice采用非自回归端到端架构，支持多语言识别，具有极低的推理延迟，性能远超同类模型如Whisper。它不仅处理语音识别，还进行情感识别和音频事件检测，使其成为创建低延迟、类人语音交互系统的理想选择。CosyVoice则专注于语音生成，通过控制多种语言、音色、说话风格和说话者身份，生成自然听感的语音。它支持零样本上下文学习、跨语言语音克隆和指令遵循能力，通过集成SenseVoice、CosyVoice和LLMs，FunAudioLLM提供了丰富的应用演示。

流程

FunAudioLLM的工作流程包括语音输入、处理和输出三个主要阶段。首先，用户通过语音与系统交互，SenseVoice模型识别语音内容、情感和音频事件。然后，LLM处理识别的信息，生成相应的文本响应。最后，CosyVoice模型将文本转换为具有特定语言、音色、说话风格和说话者身份的语音输出。例如，在语音到语音翻译应用中，SenseVoice识别源语言语音，LLM翻译为目标语言文本，CosyVoice生成目标语言语音，实现用户用自己的声音说外语的效果。

应用

FunAudioLLM的应用前景广泛，涵盖了语音到语音翻译、情感语音聊天、互动播客和有声书叙述等多个领域。这些应用不仅提升了用户体验的自然度和互动性，还为教育、娱乐、辅助技术等多个行业带来了创新机会。随着技术的进一步发展和优化，FunAudioLLM有望在更多场景中实现更深层次的人机交互。