摘要

本文探讨了在机器学习模型部署后，如何在没有实时真实标签（Ground Truth, GT）的情况下监控其预测性能的问题。传统的监控方法依赖于模型预测与真实标签的直接比较，但在许多实际应用中，真实标签的获取存在显著延迟或根本不可用。为此，本文提出了一种基于模型置信度的预测性能估计方法——平均置信度（Average Confidence, AC），并证明了在特定假设下，AC是一个无偏且一致的模型准确性估计器。此外，本文通过实验比较了AC与其他复杂估计器的效果，并展示了AC在多种情况下能够提供优于其他方法的估计结果。

原理

AC方法的核心在于利用模型的置信度分数来估计其预测准确性。假设模型输出的是经过校准的置信度分数，即置信度分数与实际预测正确的概率一致。在此基础上，AC计算一组预测的置信度分数的平均值，以此作为模型准确性的估计。理论分析表明，在模型校准的假设下，AC估计是无偏的，并且随着样本数量的增加，其估计的一致性得到保证。此外，通过利用泊松二项分布的性质，可以为AC估计提供有效的置信区间，从而量化估计的不确定性。

流程

1. 数据准备：收集模型在实际应用中的预测结果及其对应的置信度分数。
2. 置信度校准：确保模型的置信度分数是经过校准的，即置信度与预测正确的概率相符。
3. 计算平均置信度：对收集到的置信度分数进行平均，得到模型准确性的点估计。
4. 置信区间估计：利用泊松二项分布的性质，计算点估计的置信区间，以量化估计的不确定性。
5. 性能监控：定期重复上述步骤，监控模型在实际应用中的性能变化。

例如，在一个包含500个预测的批次中，计算得到的平均置信度为0.85，置信区间为[0.83, 0.87]，这表明模型在该批次中的预测准确性大约为85%，且我们有95%的信心认为真实准确性落在83%到87%之间。

应用

AC方法适用于那些模型置信度可以较好校准的场景，特别是在真实标签获取困难或延迟的情况下。它可以广泛应用于金融、医疗、工业检测等领域的模型监控，帮助及时发现模型性能的下降，从而采取相应的维护或更新措施。此外，AC方法的简单性和理论保证使其成为模型监控工具箱中的一个有力工具。