本文介绍了一种名为“Terminating Differentiable Tree Experts”的新型神经-符号AI模型，由Jonathan Thomm等人提出。该模型基于先前的Differentiable Tree Machine（DTM），通过引入专家混合（Mixture of Experts, MoE）和新的终止算法，解决了DTM中线性增长的参数问题和固定的计算步骤限制。新模型能够在任意数量的计算步骤中保持参数数量恒定，并通过自动选择步骤数来提高模型的灵活性和学习能力。此外，该模型在保持与DTM相似的内部和外部性能的同时，展示了更好的参数效率和泛化能力。
Read more...
本文介绍了一种名为VFIMamba的新型视频帧插值方法，该方法利用选择性状态空间模型（S6）进行高效且动态的帧间建模。当前的视频帧插值（VFI）方法主要依赖于卷积或基于注意力的模型，这些模型通常缺乏足够的感受野或涉及显著的计算开销。VFIMamba通过引入混合状态空间模型块（MSB），重新排列相邻帧的标记并以交错方式应用多方向S6建模，从而在保持线性复杂度的同时，有效地在帧间传递信息。此外，本文还提出了一种新颖的课程学习策略，逐步培养模型在不同运动幅度下建模帧间动态的能力，充分发挥S6模型的潜力。实验结果显示，VFIMamba在多个基准测试中达到了最先进的性能，特别是在高分辨率场景中表现出色。
Read more...
本文由Kuo Gai和Shihua Zhang等人撰写，探讨了深度神经网络的理论基础，特别是为何具有非线性激活函数的深层网络比浅层网络更强大。文章通过分析一个三层网络与矩阵指数激活函数，展示了深度网络在处理矩阵形式数据点时的优势，并提供了该网络的解析解。这一发现不仅理论上证明了深度的重要性，也为实际应用中的网络设计和优化提供了新的视角。
Read more...
本文由Yonatan Sverdlov和Nadav Dym共同撰写，探讨了在化学和其他科学应用中，稀疏几何图的消息传递神经网络（MPNNs）的表达能力。文章指出，尽管现有的模型在完全连接的图上可以区分大多数非等价的几何图，但在实际应用中，节点通常只与最近的邻居连接，这限制了模型的性能。论文提出了一种新的架构EGENNET，该架构在保持理论保证的同时，在合成和化学基准测试中表现优异。文章还介绍了几何图神经网络（GNNs）的基本概念和刚性理论，并展示了EGENNET在化学属性预测任务中的应用前景。
Read more...
本研究介绍了Multi-Peptide，一种创新的方法，结合了基于transformer的语言模型和图神经网络（GNNs）来预测肽的性质。通过将专门针对肽性质预测的PeptideBERT模型与GNN编码器结合，Multi-Peptide能够捕捉基于序列和结构的双重特征。利用对比语言-图像预训练（CLIP），该方法将两种模态的嵌入对齐到一个共享的潜在空间，从而提高了模型的预测准确性。在溶血和非粘附数据集上的评估显示，Multi-Peptide在溶血预测方面达到了最先进的86.185%的准确率。这一研究强调了多模态学习在生物信息学中的潜力，为肽基研究和应用中的准确和可靠预测铺平了道路。
Read more...
本文介绍了一种针对视觉-语言AI系统的多模态不确定性分类法，区分了知识不确定性（源于信息缺乏）和偶然不确定性（源于固有的不可预测性），并进一步探索了更细分的类别。基于此分类法，作者合成了一组名为CERTAINLYUNCERTAIN的基准数据集，包含178K视觉问答（VQA）样本作为对比对。此外，文章还引入了一种新的度量标准——置信加权准确度，该指标与准确度和校准误差高度相关，旨在解决现有指标的不足。尽管视觉-语言模型（VLMs）近期取得了快速进展，但在不确定性场景下的评估显示其表现不佳。进一步的实验表明，通过CERTAINLYUNCERTAIN进行监督微调可以提升VLMs的性能并减少校准误差。这些改进不仅限于基准数据集，还扩展到现有的拒绝导向数据集，并显示出在减少幻觉的同时保持标准VQA基准性能的积极结果。本文强调了在视觉-语言AI系统中处理不确定性的重要性，以提高其在实际应用中的可靠性和可信度。
Read more...
本文介绍了一种名为Learn2Diss的新型自监督学习框架，旨在从语音数据中学习解耦的表示。该框架通过结合帧级和语句级编码器，分别学习伪语音和伪说话者表示，并通过互信息最小化实现两者的解耦。实验结果表明，Learn2Diss框架在多种下游任务中实现了最先进的性能，特别是在语义和非语义任务中分别提升了帧级和语句级表示的性能。
Read more...
本文介绍了一种名为“领域可泛化知识追踪（Domain Generalizable Knowledge Tracing, DGKT）”的新方法，旨在解决在线教育系统中知识追踪（KT）任务的数据稀缺问题。知识追踪是监测学生在学习周期中知识状态的关键任务，传统方法在面对新教育系统中学生交互数据有限时性能显著下降。DGKT通过利用现有教育系统的学生交互数据，提出了一种领域可泛化的知识追踪框架，该框架能够减少不同领域间概念差异，并通过新颖的序列实例归一化（SeqIN）模块进一步减少领域差异。此外，本文还提出了一种专门针对领域泛化知识追踪任务的新模型——领域可泛化基于关系的知识追踪（DGRKT），该模型通过特别设计的关系型注意力机制，在五个基准数据集上的实验表明，即使在训练数据有限的情况下，该方法也能取得良好的性能。
Read more...
本文探讨了人工智能领域中视觉-语言模型（VL模型）在不同文化和经济群体中的表现不平等的问题。研究团队通过设计包含非英语、地理和经济社会属性的综合提示（prompts），评估这些提示对来自不同国家和收入群体数据的影响。研究发现，地理和经济社会属性的综合提示能显著提升VL模型在低收入数据上的表现，并有助于检索到更多低收入家庭常见的主题内容。此外，研究还识别了这些策略最有效的应用场景，并公开了模型分析代码以供进一步研究使用。
Read more...
本文由Joan Nwatu、Oana Ignat、Rada Mihalcea等学者共同撰写，旨在解决视觉-语言模型（VL模型）在不同国家和收入群体中表现不均的问题。研究团队通过设计包含非英语、地理和经济社会属性的集成提示，评估这些提示对VL模型性能的影响，特别是在低收入数据上的表现。研究发现，地理和经济社会属性的集成提示能够显著提升VL模型在低收入数据上的性能，并有助于检索到更多反映低收入家庭常见主题的图像。此外，研究还识别了这些策略最有效的应用场景，并公开了模型分析代码，以便于其他研究者评估和改进VL模型。
Read more...