摘要

本文探讨了“Rashomon效应”，即同一数据集存在多个同样优秀的预测模型这一现象。文章提出，在非确定性（噪声）环境下，特别是在表格数据问题中，我们需要重新思考机器学习的方法。文章详细讨论了Rashomon效应如何影响简单而准确的模型存在性、用户偏好的灵活性、预测和解释的不确定性、变量重要性的稳定性、算法选择以及公共政策。此外，文章还讨论了Rashomon效应发生的理论基础及其对社会复杂问题中机器学习应用的巨大影响。

原理

Rashomon效应的核心在于同一数据集可以支持多个性能相近的模型。这些模型在变量重要性、个体预测、复杂性、公平性等方面可能存在显著差异。文章通过定义“Rashomon集”，即与最佳模型性能相近的所有模型的集合，来量化这一效应。最近开发的算法能够捕捉并存储非平凡函数类的Rashomon集，使用户能够根据偏好（如公平性和单调性约束）与Rashomon集进行交互。这些算法还允许我们以整体方式研究变量重要性，包括所有优秀模型。

流程

文章通过具体示例展示了如何利用Rashomon集来优化多个目标，如约束处理和与领域知识的对齐。例如，TreeFARMS算法能够找到具有低正则化风险值的所有决策树。通过遍历Rashomon集，可以找到满足约束或多个目标优化问题的所有可能解决方案。此外，文章还介绍了交互式工具如TimberTrek和GAMChanger，这些工具允许用户实时探索Rashomon集，即使集内包含数亿模型，也能通过有效组织轻松探索。

应用

Rashomon效应的应用前景广泛，特别是在需要解释性和公平性的高风险决策中。文章指出，解释性模型因其设计上的完整性和忠实性，更适合用于许多高风险决策。此外，通过Rashomon集，我们可以在满足任何公平性指标的同时，找到“最公平”的模型。政策制定者可以利用这些信息，作为要求在许多高风险决策中默认使用解释性模型的证据。