本文介绍了一种名为A3S（Adaptive Active Aggregation and Splitting）的新型主动聚类框架，该框架通过集成人工标注的成对约束来提升聚类性能。传统的半监督聚类方法在处理具有大量类别的大型数据集时，查询成本较高。A3S通过在初始聚类结果上进行策略性的主动聚类调整，显著提高了聚类的性能和可扩展性。该框架在多个真实世界数据集上的广泛实验表明，A3S能够在显著减少人工查询的情况下实现预期的聚类效果。
Read more...
本文介绍了一种名为AlphaDou的高性能端到端斗地主AI系统，该系统集成了叫牌阶段。斗地主是一种在中国非常流行的三人卡牌游戏，具有巨大的状态/动作空间和独特的竞争与合作推理特性，使得游戏极难解决。AlphaDou通过使用强化学习框架，同时估计胜率和期望值，对动作空间进行修剪，并基于胜率生成策略。该模型在真实的斗地主环境中训练，达到了公开可用模型中的最先进水平。
Read more...
本文介绍了一种名为ChatLogic的创新框架，旨在通过将逻辑编程与大型语言模型（LLMs）集成，增强LLMs在多步骤推理任务中的性能。ChatLogic框架通过将自然语言查询转换为逻辑程序，利用LLMs的情境理解和模仿技能，结合符号记忆，显著提升了多步骤演绎推理能力。该框架不仅改善了信息损失问题，还通过自动化的逻辑程序执行增强，包括语法修正模块，提高了生成代码的实用性和有效性。ChatLogic框架的源代码和数据已公开，可在GitHub上获取。
Read more...
本文提出了一种名为Key-Point-Driven Mathematical Reasoning Distillation (KPDD)的新方法，旨在提高小型语言模型（SLMs）在数学推理任务中的性能。KPDD通过分解问题解决过程为三个阶段：核心问题提取、问题解决信息提取和逐步解决方案生成，来增强SLMs的推理能力。实验结果显示，KPDD-CoT显著提升了SLMs的推理能力，而KPDD-PoT则在数学推理任务中达到了最先进的性能。该方法有效地减少了误解错误，推动了高效且有能力的SLMs的部署。
Read more...
本文介绍了一种名为ReactAIvate的深度学习方法，用于预测化学反应机制（CRM）并揭示反应活性热点。该研究由印度理工学院的研究团队开发，针对化学反应机制的预测问题，提出了一种基于图神经网络（GNN）的解决方案。该方法通过创建一个包含七个不同类别的基础数据集，利用可解释的注意力机制，实现了对反应步骤的分类和反应活性原子的识别，准确率分别接近100%和96%。这种方法不仅提高了对单个反应事件的预测精度，还能准确预测整个CRM，避免了传统Seq2Seq方法中因单个字符预测错误导致的整个CRM识别错误的问题。此外，ReactAIvate模型还能有效识别出分布外的类别，为新分子反应活性的理解提供了有力工具。
Read more...
本文介绍了一种名为SemiAnAgg的新型联邦半监督学习方法，旨在解决联邦学习中客户端数据异质性和伪标签错误的问题。SemiAnAgg通过使用一个基于锚点的模型聚合方法，有效地利用了未标记客户端的信息，从而提高了模型的性能。该方法在四个广泛使用的联邦半监督学习基准测试中实现了新的最先进结果，显著提高了准确性和召回率。
Read more...
本文介绍了一种名为Shape2Scene（S2S）的新型3D场景表示学习方法，该方法通过在3D形状数据上进行预训练来学习大规模3D场景的表示。当前3D自监督学习方法面临数据荒漠问题，因为收集3D场景数据既耗时又昂贵。相反，3D形状数据集更容易收集，但现有的形状数据预训练策略由于点数量差异大，对3D场景理解提供的潜力有限。为了解决这些挑战，S2S方法设计了多尺度高分辨率骨干网络（MH-P和MH-V），并采用形状到场景策略（S2SS）来合并来自不同形状的点，创建随机伪场景以缓解形状和场景之间的差异。此外，还应用了点-点对比损失（PPC）进行预训练。实验表明，MH-P/V学习到的3D表示在形状级和场景级3D任务之间具有良好的可迁移性。
Read more...
本文介绍了一种名为xLSTMTime的新型时间序列预测模型，该模型基于改进的LSTM架构，特别适用于多变量长期时间序列预测（LTSF）。在近年来，基于Transformer的模型在LTSF领域取得了显著进展，但它们面临着高计算需求、难以捕捉时间动态和处理长期依赖等问题。本文提出的xLSTMTime模型通过引入指数门控和改进的记忆结构，显著提高了预测性能，并在多个真实世界数据集上与现有最先进模型进行了比较，展示了其优越的预测能力。研究结果表明，经过精细调整的循环架构可以为LTSF任务提供有竞争力的替代方案，可能重新定义时间序列预测的领域。
Read more...
本文由刘振华、朱彤、谭传元和陈文亮共同撰写，针对大型语言模型（LLMs）在处理和生成自然语言时可能无意中记忆私人信息，从而引发重大隐私风险的问题进行了研究。文章提出了一种无需完全重新训练即可保护特定个人隐私数据的方法。研究团队创建了RETURN数据集，包含2,492名来自维基百科的个人及其相关问答对，用于评估机器遗忘（MU）方法在现实场景中保护个人数据的效果。此外，文章还介绍了名称感知遗忘框架（NAUF），该框架使模型能够学习哪些个人的信息应受保护，同时不影响其回答与无关个人相关的问题的能力。实验结果表明，NAUF在遗忘评分上达到了最先进的平均水平，有效地保护了目标个人的隐私数据，同时保持了模型的通用能力。
Read more...
本文针对长文档分类（LDC）中的多模态数据（如文本和图像）未被有效利用的问题，提出了一种新颖的分层多模态Transformer（HMT）方法。HMT通过在分层结构中进行多模态特征交互和融合，有效地处理了长文档中图像和文本的复杂关系。此外，引入了一种动态掩码转移模块，以增强不同层次Transformer之间的信息交互。实验结果表明，HMT在多个多模态长文档数据集上的表现优于现有的单模态和多模态方法。
Read more...