摘要

本文《A Survey of Data Synthesis Approaches》详细探讨了合成数据技术的发展及其在数据增强中的应用。论文首先阐述了使用合成数据进行数据增强的四个主要目标：提高多样性、数据平衡、解决领域转移和处理边缘案例。接着，论文将合成数据技术分为四类：专家知识、直接训练、预训练后微调以及无需微调的基础模型。此外，论文还讨论了合成数据过滤的四个类型：基本质量、标签一致性和数据分布。最后，论文提出了合成数据的未来发展方向，包括更注重质量、合成数据的评估以及多模态数据增强。

原理

论文详细介绍了合成数据生成的工作原理，分为四个主要类别：

1. 专家知识：基于领域专家的知识，通过选择、提取和转换原始数据来生成新特征，以增强模型性能。
2. 直接训练：直接在特定任务的数据上训练模型，利用模型生成新的数据样本。
3. 预训练后微调：先在大规模数据集上预训练模型，然后在特定任务的小规模标注数据上进行微调，以生成新的数据。
4. 无需微调的基础模型：直接使用预训练的基础模型生成新数据，无需进一步的微调。 这些方法通过不同的技术手段，如生成对抗网络（GANs）、扩散模型等，来生成高质量的合成数据，以增强数据集的多样性和平衡性。

流程

论文描述了合成数据生成的工作流程，主要包括两个阶段：合成数据生成和后处理。在合成数据生成阶段，主要通过修改现有数据、标注未标注数据或直接生成新数据来实现。在后处理阶段，主要目标是过滤出不适当的数据，确保合成数据能够有益于后续的数据增强过程。例如，通过随机采样变换子集来减少数据增强方法的搜索空间，同时保持增强数据的多样性，从而提高模型性能。

应用

合成数据技术在多个领域具有广泛的应用前景，特别是在数据增强方面。通过提高数据多样性和平衡性，合成数据可以帮助模型更好地泛化，特别是在处理边缘案例和领域转移时。未来，随着技术的进步，合成数据将在多模态数据增强、小样本学习和特定任务的数据生成等方面发挥更大作用。