探索深度神经网络的力量：矩阵指数激活函数的解析解及其应用前景

Posted on 2024-07-02 in CS.AI • 12 words • 1 minute read

摘要

本文由Kuo Gai和Shihua Zhang等人撰写，探讨了深度神经网络的理论基础，特别是为何具有非线性激活函数的深层网络比浅层网络更强大。文章通过分析一个三层网络与矩阵指数激活函数，展示了深度网络在处理矩阵形式数据点时的优势，并提供了该网络的解析解。这一发现不仅理论上证明了深度的重要性，也为实际应用中的网络设计和优化提供了新的视角。

探索稀疏几何图神经网络的表达能力：EGENNET架构的突破与应用

Posted on 2024-07-02 in CS.AI • 11 words • 1 minute read

摘要

本文由Yonatan Sverdlov和Nadav Dym共同撰写，探讨了在化学和其他科学应用中，稀疏几何图的消息传递神经网络（MPNNs）的表达能力。文章指出，尽管现有的模型在完全连接的图上可以区分大多数非等价的几何图，但在实际应用中，节点通常只与最近的邻居连接，这限制了模型的性能。论文提出了一种新的架构EGENNET，该架构在保持理论保证的同时，在合成和化学基准测试中表现优异。文章还介绍了几何图神经网络（GNNs）的基本概念和刚性理论，并展示了EGENNET在化学属性预测任务中的应用前景。

探索肽性质预测的新前沿：Multi-Peptide模型的多模态学习方法

Posted on 2024-07-02 in CS.AI • 8 words • 1 minute read

摘要

本研究介绍了Multi-Peptide，一种创新的方法，结合了基于transformer的语言模型和图神经网络（GNNs）来预测肽的性质。通过将专门针对肽性质预测的PeptideBERT模型与GNN编码器结合，Multi-Peptide能够捕捉基于序列和结构的双重特征。利用对比语言-图像预训练（CLIP），该方法将两种模态的嵌入对齐到一个共享的潜在空间，从而提高了模型的预测准确性。在溶血和非粘附数据集上的评估显示，Multi-Peptide在溶血预测方面达到了最先进的86.185%的准确率。这一研究强调了多模态学习在生物信息学中的潜力，为肽基研究和应用中的准确和可靠预测铺平了道路。

探索视觉-语言AI系统中的不确定性：CERTAINLYUNCERTAIN数据集与置信加权准确度的新视角

Posted on 2024-07-02 in CS.AI • 13 words • 1 minute read

摘要

本文介绍了一种针对视觉-语言AI系统的多模态不确定性分类法，区分了知识不确定性（源于信息缺乏）和偶然不确定性（源于固有的不可预测性），并进一步探索了更细分的类别。基于此分类法，作者合成了一组名为CERTAINLYUNCERTAIN的基准数据集，包含178K视觉问答（VQA）样本作为对比对。此外，文章还引入了一种新的度量标准——置信加权准确度，该指标与准确度和校准误差高度相关，旨在解决现有指标的不足。尽管视觉-语言模型（VLMs）近期取得了快速进展，但在不确定性场景下的评估显示其表现不佳。进一步的实验表明，通过CERTAINLYUNCERTAIN进行监督微调可以提升VLMs的性能并减少校准误差。这些改进不仅限于基准数据集，还扩展到现有的拒绝导向数据集，并显示出在减少幻觉的同时保持标准VQA基准性能的积极结果。本文强调了在视觉-语言AI系统中处理不确定性的重要性，以提高其在实际应用中的可靠性和可信度。

探索语音表示学习的新前沿：Learn2Diss框架的解耦自监督学习

Posted on 2024-07-02 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为Learn2Diss的新型自监督学习框架，旨在从语音数据中学习解耦的表示。该框架通过结合帧级和语句级编码器，分别学习伪语音和伪说话者表示，并通过互信息最小化实现两者的解耦。实验结果表明，Learn2Diss框架在多种下游任务中实现了最先进的性能，特别是在语义和非语义任务中分别提升了帧级和语句级表示的性能。

探索领域可泛化知识追踪：解决在线教育中的数据稀缺问题

Posted on 2024-07-02 in CS.AI • 18 words • 1 minute read

摘要

本文介绍了一种名为“领域可泛化知识追踪（Domain Generalizable Knowledge Tracing, DGKT）”的新方法，旨在解决在线教育系统中知识追踪（KT）任务的数据稀缺问题。知识追踪是监测学生在学习周期中知识状态的关键任务，传统方法在面对新教育系统中学生交互数据有限时性能显著下降。DGKT通过利用现有教育系统的学生交互数据，提出了一种领域可泛化的知识追踪框架，该框架能够减少不同领域间概念差异，并通过新颖的序列实例归一化（SeqIN）模块进一步减少领域差异。此外，本文还提出了一种专门针对领域泛化知识追踪任务的新模型——领域可泛化基于关系的知识追踪（DGRKT），该模型通过特别设计的关系型注意力机制，在五个基准数据集上的实验表明，即使在训练数据有限的情况下，该方法也能取得良好的性能。

提升低收入数据表现：视觉-语言模型的新策略

Posted on 2024-07-02 in CS.AI • 9 words • 1 minute read

摘要

本文探讨了人工智能领域中视觉-语言模型（VL模型）在不同文化和经济群体中的表现不平等的问题。研究团队通过设计包含非英语、地理和经济社会属性的综合提示（prompts），评估这些提示对来自不同国家和收入群体数据的影响。研究发现，地理和经济社会属性的综合提示能显著提升VL模型在低收入数据上的表现，并有助于检索到更多低收入家庭常见的主题内容。此外，研究还识别了这些策略最有效的应用场景，并公开了模型分析代码以供进一步研究使用。

提升低收入数据表现：视觉-语言模型的集成提示策略研究

Posted on 2024-07-02 in CS.AI • 21 words • 1 minute read

摘要

本文由Joan Nwatu、Oana Ignat、Rada Mihalcea等学者共同撰写，旨在解决视觉-语言模型（VL模型）在不同国家和收入群体中表现不均的问题。研究团队通过设计包含非英语、地理和经济社会属性的集成提示，评估这些提示对VL模型性能的影响，特别是在低收入数据上的表现。研究发现，地理和经济社会属性的集成提示能够显著提升VL模型在低收入数据上的性能，并有助于检索到更多反映低收入家庭常见主题的图像。此外，研究还识别了这些策略最有效的应用场景，并公开了模型分析代码，以便于其他研究者评估和改进VL模型。

提升神经符号知识图谱补全性能的三种简单规则增强技术

Posted on 2024-07-02 in CS.AI • 30 words • 1 minute read

摘要

本文介绍了一种针对神经符号知识图谱补全（NS-KGC）模型的高质量规则集增强方法。由于现有的神经模型在维持高覆盖率方面存在困难，本文提出了三种简单的规则集增强技术：（1）将规则转换为其溯因形式，（2）生成使用构成关系逆形式的等效规则，（3）通过随机游走提出新规则，并最终修剪可能低质量的规则。实验结果表明，这些增强技术在四个数据集和五种规则集基准设置上持续提高了性能，相较于未增强的规则，MRR和Hits@1分别提高了7.1点和8.5点。

揭秘AI安全的新威胁：推理对手与信息审查机制

Posted on 2024-07-02 in CS.AI • 9 words • 1 minute read

摘要

本文由David Glukhov等人撰写，探讨了大型语言模型（LLMs）在面对“越狱”攻击时的脆弱性，即诱导模型产生有害或不允许的输出。文章指出，尽管现有安全措施旨在防御此类攻击，但这些措施未能充分解决双重意图查询和组合无害输出来实现有害目标的风险。为此，作者引入了一种信息论威胁模型，称为推理对手，这些对手利用模型输出中的不允许信息泄露来实现恶意目标。文章还展示了如何通过问题分解和响应聚合自动化推理对手，并定义了一种信息审查标准，以确保不允许信息的泄露受到限制。此外，文章提出了一种防御机制，确保了这一限制，并揭示了安全性与实用性之间的内在权衡。该研究为发布安全的LLMs提供了理论基础，并探讨了相关的实用性成本。

Previous Page 98 of 156 Next Page