本文探讨了并行持续学习（PCL）中的训练稳定性问题，特别是在多源输入数据情况下的持续学习方法。PCL适用于复杂的多源数据系统，如配备多传感器的自动驾驶车辆。然而，由于多个任务需要同时训练，PCL在正向和反向传播过程中存在严重的训练不稳定性，表现为特征纠缠和梯度冲突。为此，本文提出了一种新的稳定并行持续学习（SPCL）方法，通过在正向传播中应用基于双块Toeplitz（DBT）矩阵的正交性约束，以及在反向传播中采用正交分解来管理梯度，从而增强训练稳定性。实验结果表明，SPCL方法在多个数据集上优于现有方法，显著提高了训练稳定性。
Read more...
本文探讨了长序列模型在处理长序列数据时的能力，特别是在理论上的无限序列长度支持与实际应用中的性能之间的差距。论文通过对比不同架构的模型，如Transformer和线性序列模型，评估了它们在长上下文任务中的表现。研究发现，尽管线性序列模型在理论上能够处理无限长度的序列，但在实际应用中仍然存在显著的限制，特别是在信息保留和推理能力方面。论文强调了进一步研究长序列模型行为的必要性，以提高其在长上下文理解和推理方面的能力。
Read more...
本研究采用自然语言处理技术，特别是潜在狄利克雷分配（LDA）模型，分析了来自医疗安全调查分支（HSIB）的匿名产妇事故调查报告。通过对报告进行预处理、使用安全情报研究分类法（SIRch）进行标注以及主题建模，研究揭示了不同种族群体在产妇护理中的差异。研究结合了离线和在线处理方法，确保数据保护的同时进行高级分析，并利用交互式主题分析和语义网络可视化来提取和展示主题性话题及关键词之间的语义关系。研究发现，黑人、亚洲人和白人英国群体在产妇护理中存在不同的关注领域，强调了先进数据分析在提高产妇护理质量和公平性中的关键作用。
Read more...
本文介绍了一种名为CoGS（Counterfactual Generation with s(CASP)）的新框架，旨在为基于规则的机器学习模型生成反事实解释，特别是在贷款审批和招聘等领域。这些模型通常被视为“黑箱”，缺乏透明度。CoGS通过考虑特征间的因果依赖关系，生成现实且因果一致的反事实解释，帮助用户理解为何未获得期望结果以及如何调整输入特征以达到期望结果。该框架利用目标导向的答案集编程系统s(CASP)和FOLD-SE算法，自动识别特征间的因果关系，并计算出从不利结果到有利结果的路径。
Read more...
本文探讨了大型语言模型（LLMs）中存在的偏见问题，特别是这些模型如何从训练数据中学习并潜在地传播各种偏见，包括性别、种族、宗教等。研究通过设计特定的“越狱提示”来测试这些模型的对抗鲁棒性，以揭示隐藏的偏见。实验结果表明，尽管LLMs具有高级功能和复杂的对齐过程，但它们仍然可以被操纵产生偏见或不当的响应。文章强调了增强偏见缓解技术的重要性，以促进更可持续和包容的人工智能发展。
Read more...
本文探讨了重复性不流畅和重叠在语言学中的区别，提出了一种利用计算语言学方法进行大规模研究的新方法。文章介绍了IndicRedRep数据集，该数据集包含印地语、泰卢固语和马拉地语的文本，并详细标注了单词级别的重叠和不流畅重复。通过使用基于变换器的模型和Reparandum-Interregnum-Repair（RiR）结构，文章评估了模型在区分这两种现象上的性能，取得了高达85.62%的宏观F1分数。研究不仅提升了对语言技术的理解，还为自动语音识别系统中的不流畅检测提供了新的视角。
Read more...
本文探讨了在机器学习模型部署后，如何在没有实时真实标签（Ground Truth, GT）的情况下监控其预测性能的问题。传统的监控方法依赖于模型预测与真实标签的直接比较，但在许多实际应用中，真实标签的获取存在显著延迟或根本不可用。为此，本文提出了一种基于模型置信度的预测性能估计方法——平均置信度（Average Confidence, AC），并证明了在特定假设下，AC是一个无偏且一致的模型准确性估计器。此外，本文通过实验比较了AC与其他复杂估计器的效果，并展示了AC在多种情况下能够提供优于其他方法的估计结果。
Read more...
本文介绍了一种名为I-SIRch:CS的智能多文档摘要框架，旨在从产科事故调查报告中提取有关种族不平等的关键见解。该框架利用自然语言处理（NLP）和机器学习技术，通过概念标注、聚类和摘要生成，有效地分析和汇总大量非结构化数据。I-SIRch:CS框架通过确保数据的可追溯性，帮助识别重复模式和贡献因素，从而预防医疗事故。论文展示了该框架在处理188份匿名产科调查报告中的应用，并评估了不同摘要模型的性能，特别是BART模型在生成信息丰富且简洁的摘要方面的优势。
Read more...
本文提出了一种名为SoupLM的模型集成方法，用于在大型语言模型和多模态模型中进行模型集成。该方法通过将不同领域的模型变体进行集成，形成一个通用的多模态模型，从而避免了在多个领域进行重复训练的计算成本。本文详细介绍了SoupLM的工作原理、工作流程、应用前景，并通过实验验证了其有效性。
Read more...
本文介绍了一种新颖的分类框架，用于使用深度学习进行时间序列插补，特别关注临床数据。通过识别文献和现有评论中的概念空白，我们设计了一种基于神经插补框架归纳偏差的分类法，从而根据其对特定插补场景和数据特性的适用性对现有深度插补策略进行了分类。我们的评论进一步检查了用于基准测试深度插补模型的现有方法论，评估了它们在捕捉临床数据中发现的缺失场景的有效性，并强调了将数学抽象与临床洞察力调和的重要性。我们的分类旨在作为研究人员选择适合其特定临床数据的深度学习插补技术的指南。我们的新颖视角还强调了弥合计算方法与医学洞察力之间差距的重要性，以实现临床上合理的插补模型。
Read more...