本文介绍了一种基于人工智能的工具，用于通过远程皮肤病学提高基底细胞癌（BCC）诊断的可解释性。该工具结合了Grad-CAM技术和高水平专家标注，以增强诊断的透明度和准确性。通过识别图像中的主要BCC皮损模式，并利用基于期望最大化（EM）算法的共识参考，该工具实现了90%的BCC/非BCC分类准确率和99%的临床相关BCC模式检测准确率。此外，该工具通过临床启发的可视化解释，帮助医疗专业人员理解AI模型的决策过程，从而加速转诊并优化资源利用。
Read more...
本文介绍了一种创新的机器学习模型训练方法，通过在训练后对模型权重应用差分隐私（Differential Privacy, DP）噪声，以实现隐私保护。传统的差分隐私方法通常在训练过程中引入噪声，这可能导致模型性能下降或隐私保护不足。本文提出的DP-Weights方法允许在训练完成后调整噪声水平，以达到最佳的隐私-效用平衡。该方法通过数学证明和实证评估，包括成员推理攻击和性能评估，验证了其有效性。与传统的DP-SGD模型相比，DP-Weights模型在保持相似的隐私保证的同时，显著减少了训练时间和提高了参数调整的灵活性。
Read more...
本文介绍了一种高效的长距离潜在关系感知图神经网络（ELR-GNN），用于对话中的多模态情感识别（MERC）。该任务旨在基于对话中的多模态信息分析每个话语的真实情感状态，对于对话理解至关重要。现有方法主要使用图神经网络（GNN）来建模对话关系并捕捉上下文的潜在语义关系。然而，由于GNN的复杂性，现有方法无法有效捕捉长距离话语之间的潜在依赖关系，从而限制了MERC的性能。ELR-GNN通过使用预提取的文本、视频和音频特征作为输入，利用双向长短期记忆网络（Bi-LSTM）捕捉上下文语义信息，并构建对话情感交互图。为了有效捕捉长距离话语之间的潜在依赖关系，本文采用扩张广义前向推送算法预计算全局话语之间的情感传播，并设计情感关系感知操作符来捕捉不同话语之间的潜在语义关联。此外，结合早期融合和自适应晚期融合机制，融合说话者关系信息和上下文的潜在依赖信息。最后，获取高级话语特征并将其输入多层感知机（MLP）进行情感预测。实验结果表明，ELR-GNN在基准数据集IEMOCAP和MELD上达到了最先进的性能，运行时间分别减少了52%和35%。此外，ELR-GNN能够有效提高MERC任务的准确性，通过捕捉和融合话语之间的潜在语义关系。
Read more...
本文介绍了一种名为Low-rank Prompt Tuning (LoPT)的新方法，旨在通过减少训练参数数量来提高语言模型在特定任务上的性能。传统的prompt tuning方法通过优化输入的前缀或后缀嵌入来控制语言模型，而LoPT通过低秩模型优化这些嵌入，实现了与全参数优化相媲美的效果，同时减少了训练参数的数量，提高了参数效率。
Read more...
本文介绍了一种名为SSCBM（Semi-supervised Concept Bottleneck Model）的新框架，旨在解决传统概念瓶颈模型（CBMs）在训练过程中对精确和丰富标注概念数据的依赖问题。CBMs虽然能够提供基于概念的解释，但其训练通常需要专家标注，成本高昂且资源密集。SSCBM通过利用标记和未标记数据的联合训练，并引入伪标签生成策略和对齐损失，有效解决了这些问题。实验结果显示，即使在仅有20%的标记数据情况下，SSCBM也能达到高概念准确性和预测准确性，显示出其在实际应用中的巨大潜力。
Read more...
本文由Ondrej Sotolar等人撰写，探讨了在对话代理中生成共情响应的问题。共情响应生成（ERG）是使对话代理能够理解用户情境、情感和体验，从而生成适当、类人响应的关键技术。尽管大型语言模型（LLM）在此任务上显示出潜力，但确保响应的共情质量和模型的泛化性能仍面临挑战。本文提出了一种新颖的方法，通过构建理论驱动的偏好数据集并使用偏好优化算法来对齐LLM，以解决这些挑战。研究使用了EmpatheticDialogues数据集，并评估了共情响应生成的效果，同时公开了所有数据集、源代码和模型。
Read more...
本文由Google DeepMind的研究团队撰写，探讨了在大型语言模型（LLMs）中使用“遗忘”（unlearning）技术进行内容监管的局限性。文章指出，尽管遗忘技术最初旨在从机器学习模型中移除隐私敏感信息，但其在防止模型生成非法或有害内容方面的效果有限。文章提出了“再遗忘”（ununlearning）的概念，即通过上下文学习，模型可以重新获取已被遗忘的知识，从而使遗忘技术在内容监管方面的应用变得复杂。文章强调，为了有效监管非法内容，除了遗忘技术外，还需要结合内容过滤等其他机制。
Read more...
本文由Anubhab Majumder等人撰写，介绍了如何利用大型语言模型（LLMs）开发和评估一种增强检索生成工具，用于创建人工系统的SAPPhIRE因果模型。SAPPhIRE模型在支持设计类比（DbA）方面被发现非常有用，但创建人工或生物系统的SAPPhIRE模型是一个劳动密集型过程，需要专家从多个技术文档中获取系统工作原理的知识。本文提出的检索增强生成（RAG）工具旨在生成与人工系统的SAPPhIRE构造相关的信息，并初步评估了该工具的成功性，重点关注事实准确性和结果的可靠性。
Read more...
本文由IBM Research Zurich和IBM Research Paris-Saclay的研究人员共同撰写，提出了一种名为“Statements”的新型数据结构，用于从环境、社会和治理（ESG）报告中的表格提取通用信息。这些报告通常包含有关气候变化、温室气体排放、水消耗等关键绩效指标（KPIs）的量化信息。由于表格结构和内容的高度可变性，信息提取变得非常困难。本文介绍了一种新的监督深度学习任务——“声明提取”，通过将表格转换为声明来解决这一问题。研究团队还引入了SemTabNet数据集，包含超过10万条注释表格，并开发了一系列基于T5的声明提取模型，其中最佳模型生成的声明与真实值相似度达到82%，远超基线模型的21%。此外，本文还展示了声明结构在大型ESG报告集合中进行探索性数据分析的优势。
Read more...
本文介绍了一种名为“Instance Temperature Knowledge Distillation”的新方法，旨在通过强化学习（RL）优化知识蒸馏过程中的实例温度调整，以提高学生网络的性能。传统的知识蒸馏方法在调整温度时仅考虑当前阶段的即时效益，而忽略了未来阶段的潜在收益。本文提出的RLKD方法通过将实例温度调整视为一个序列决策任务，利用强化学习框架来动态调整温度，从而考虑未来的性能提升。该方法不仅设计了新的状态表示和实例奖励校准机制，还提出了一种高效的探索策略，以加速学习过程。实验证明，RLKD方法在图像分类和对象检测任务上均取得了最先进的结果，显示出其在知识蒸馏领域的广泛应用前景。
Read more...