摘要

本文探讨了在多语言环境下平衡全球与本地偏好以减少AI系统危害的可行性。文章指出，当前AI系统的安全对齐通常集中在单一语言（尤其是英语）环境中，而忽略了全球范围内多语言和多文化的复杂性。为此，研究团队收集了首个多语言人类注释的红队提示集，区分全球性和本地性危害，以评估对齐技术的可靠性。研究通过在6种语言上应用最先进的对齐技术，展示了在保持通用性能的同时减少危害的可能性，为全球AI系统的安全优化提供了重要见解。

原理

本文通过收集多语言的人类注释红队提示集，区分全球性和本地性危害，来评估对齐技术的有效性。研究采用了多种对齐方法，包括监督微调（SFT）和直接偏好优化（DPO），以平衡AI模型在多语言环境中的安全性和通用性能。通过这些方法，研究团队能够在保持模型通用性能的同时，显著减少模型生成有害内容的比例。

流程

研究团队首先收集了多语言的红队提示集，这些提示集涵盖了全球性和本地性危害。然后，他们使用监督微调和直接偏好优化等技术对模型进行训练，以优化模型在多语言环境中的表现。在训练过程中，团队通过混合使用安全相关的数据和通用数据，模拟了实际应用场景。最后，通过LLM作为评估器和人工评估，验证了模型的安全性和性能。

应用

本文的研究成果对于全球范围内的AI系统安全对齐具有重要意义。通过优化多语言环境下的对齐技术，可以更有效地减少AI系统在全球应用中的潜在危害，提高AI系统的安全性和可靠性。这对于推动AI技术在全球范围内的广泛应用和接受具有积极影响。