摘要

本文探讨了在仅有少量标注音乐数据的情况下，使用合成音乐片段训练音乐标签系统的可行性。研究团队发布了GTZAN-synth，一个遵循GTZAN数据集分类体系但数据量是其十倍的合成数据集。实验表明，仅添加合成数据到GTZAN训练集并未显著提升性能，但通过域适应、迁移学习和微调策略，合成数据的使用能够提高分类准确性。这一研究为未来在音乐信息检索领域的进一步探索提供了基础。

原理

本文的核心在于利用合成音乐数据来训练音乐标签系统，特别是在标注数据稀缺的情况下。通过使用MusicGen模型生成合成音乐片段，研究团队创建了GTZAN-synth数据集。MusicGen模型通过文本提示生成音乐，这些提示由大型语言模型（LLM）如GPT-3生成。为了解决合成数据与真实数据之间的分布差异，研究采用了域适应技术，通过引入额外的对比损失来确保模型在合成和真实数据上的表现一致性。

流程

研究团队首先使用GPT-3模型生成音乐描述的文本提示（LLM-prompt），然后这些提示被用作MusicGen模型的输入（MusicGen-prompt）以生成合成音乐片段。生成的音乐片段随后被用于训练深度卷积神经网络（CNN），该网络设计用于音乐标签任务。在训练过程中，除了传统的分类损失外，还引入了域适应损失，以减少合成数据与真实数据之间的差异。实验包括直接在合成数据上训练、添加合成数据到真实数据集、以及使用迁移学习和微调策略。

应用

该研究提出的方法不仅限于音乐分类，还可扩展到其他音乐信息检索任务，如情感分析和乐器识别。随着合成音乐技术的进步和数据集的扩大，这种方法有望在音乐产业中得到广泛应用，特别是在需要大量标注数据的场景中，如音乐推荐系统和版权管理。