摘要

本文探讨了在机器翻译训练中处理大规模网络挖掘并行数据中存在的噪声问题。主要噪声来源是语义错位，这给训练高质量的机器翻译系统带来了挑战。文章首先通过模拟真实世界中难以检测的语义错位噪声，量化分析了其对机器翻译性能的影响，并指出广泛使用的预过滤器在提高翻译性能方面的局限性。接着，文章提出了一种自校正方法，该方法利用模型在训练过程中的预测分布来逐步修正训练监督信号，从而在模拟和真实世界的噪声数据集上均显示出对机器翻译性能的显著提升。

原理

文章提出的自校正方法的核心在于利用模型在训练过程中的预测分布来逐步修正训练监督信号。具体来说，该方法通过动态调整模型预测分布的信任度，结合训练数据的真实标签，形成一个新的训练目标。这个新目标不仅保留了原始训练数据的监督信号，还融入了模型自身的预测信息。通过这种方式，模型能够在训练过程中逐步学习如何区分正确和错误的数据，从而提高其在噪声环境下的翻译性能。

流程

1. 模拟噪声生成：首先，文章设计了一个过程来模拟真实世界中的语义错位噪声，该过程通过控制语义相似度来生成错位数据。
2. 性能评估：在模拟的噪声环境下，评估了预过滤器和数据截断方法的有效性，并发现这些方法在处理高比例噪声时效果有限。
3. 自校正方法实施：提出自校正方法，该方法在训练过程中动态调整模型对自身预测的信任度，逐步修正训练数据的真实标签。
4. 实验验证：在模拟和真实世界的噪声数据集上进行实验，验证自校正方法的有效性，结果显示该方法在多个翻译任务上均能显著提升性能。

应用

文章提出的自校正方法不仅适用于机器翻译任务，还可能扩展到其他自然语言处理任务中，特别是在数据质量参差不齐的情况下。该方法的灵活性和有效性预示着在处理真实世界噪声数据时具有广泛的应用前景，尤其是在低资源语言翻译和数据质量控制领域。