摘要

这篇论文探讨了如何评估自然语言处理（NLP）模型解释的实用性，以促进人类-AI 决策。文章指出，尽管解释性方法已通过概念验证测试，但在 NLP 中，以人类为中心、基于应用的解释评估仍然不足。文章提出了评估解释的要求和数据集选择标准，通过对 50 多个数据集的分析，发现只有 4 个数据集符合要求。文章还介绍了如何通过微调 Flan-T5-3B 模型来重新评估最先进的技术，并通过实例研究了人类-AI 决策在验证法律声明任务中的应用。研究结果表明，成功的推迟是推进人类-AI 团队的一个有前途的方向。

原理

论文中关键内容的工作原理主要包括以下几个方面：

1. 评估解释的要求：论文提出了评估解释的要求，包括解释的准确性、可理解性、可靠性和有效性。解释的准确性是指解释是否与模型的预测一致；可理解性是指解释是否易于人类理解；可靠性是指解释是否稳定可靠；有效性是指解释是否能够帮助人类做出更好的决策。
2. 数据集选择标准：论文提出了数据集选择的标准，包括数据集的真实性、代表性、多样性和可扩展性。数据集的真实性是指数据集是否反映了真实的世界情况；代表性是指数据集是否能够代表不同的领域和任务；多样性是指数据集是否包含不同类型的数据；可扩展性是指数据集是否能够支持不同的模型和算法。
3. 微调 Flan-T5-3B 模型：论文通过微调 Flan-T5-3B 模型来重新评估最先进的技术。微调是指在已有模型的基础上，通过调整模型的参数来适应新的任务和数据集。微调可以提高模型的性能和泛化能力，使其能够更好地处理不同类型的数据和任务。
4. 人类-AI 决策的实例研究：论文通过实例研究了人类-AI 决策在验证法律声明任务中的应用。研究结果表明，成功的推迟是推进人类-AI 团队的一个有前途的方向。推迟是指在人类做出决策之前，先让模型做出预测，然后根据模型的预测结果来决定是否需要人类的干预。推迟可以提高人类的决策效率和准确性，同时也可以降低人类的工作负担。

流程

论文中关键内容的工作流程主要包括以下几个步骤：

1. 数据收集：收集用于评估解释的数据集，包括文本数据和对应的标签。
2. 模型训练：使用收集到的数据训练 Flan-T5-3B 模型。
3. 解释生成：使用训练好的模型生成对文本数据的解释。
4. 解释评估：使用评估指标对生成的解释进行评估，包括准确性、可理解性、可靠性和有效性等。
5. 结果分析：对评估结果进行分析，找出解释的优点和不足之处，并提出改进建议。
6. 应用实例研究：将评估结果应用于实际的人类-AI 决策任务中，如验证法律声明任务，以验证解释的实用性和有效性。

应用

论文中关键内容的应用前景主要包括以下几个方面：

1. 提高人类-AI 决策的效率和准确性：通过评估解释的实用性和有效性，可以帮助人类更好地理解模型的预测结果，从而提高人类-AI 决策的效率和准确性。
2. 促进人工智能的发展和应用：通过评估解释的实用性和有效性，可以促进人工智能的发展和应用，使其能够更好地服务于人类社会。
3. 推动人工智能的可解释性研究：通过评估解释的实用性和有效性，可以推动人工智能的可解释性研究，使其能够更好地解释模型的决策过程和结果。