DPA-RAG：解决 RAG 系统偏好不一致问题的通用框架
摘要
本文提出了一种名为 DPA-RAG 的通用框架，旨在解决检索增强生成（RAG）系统中不同组件之间的偏好不一致问题，提高生成性能。通过引入多粒度偏好对齐任务和知识自对齐机制，DPA-RAG 能够更好地满足大语言模型（LLM）的知识需求，从而提高生成质量。
Read more...FERMI：大语言模型的少样本个性化新方法
摘要
本文提出了一种新的方法FERMI，用于大语言模型（LLMs）的少样本个性化，特别是在模型响应与用户意见不一致的情况下。FERMI的核心思想是通过迭代改进个性化提示，基于用户资料（如人口统计信息）和少量先前的意见，学习一组针对每个用户的个性化提示。该方法通过整合LLMs的错误响应上下文，有效地实现了LLMs的个性化，显著提高了在各种基准测试中的性能。
Read more...LLM与自主代理在化学领域的应用与挑战
摘要
本文综述了大型语言模型（LLM）和自主代理在化学领域的应用。文章介绍了LLM的发展历程、工作原理和应用场景，重点讨论了其在化学研究中的作用，包括分子性质预测、逆合成设计、合成预测等。文章还探讨了自主代理的工作原理和应用，以及它们在化学研究中的潜力。最后，文章指出了该领域面临的挑战和未来的发展方向。
Read more...MATE：连接图像与长文本的新方法，开启跨模态交互新纪元
摘要
本文介绍了一种名为MATE（Meet At The Embedding）的新方法，旨在解决视觉语言模型（VLM）在处理长文本（如长描述或文档）时的局限性。MATE通过结合VLM和大型语言模型（LLM）的能力，无需额外的图像-长文本对，实现了图像与长文本的有效对齐。该方法通过一个投影模块，将VLM的文本编码器替换为预训练的LLM编码器，以更好地理解长文本。此外，MATE引入了两个新的跨模态检索基准，以评估图像与长文本连接的任务。实验结果表明，MATE能够有效地连接图像与长文本，揭示多样的语义关系。
Read more...MUMU：引领多模态图像生成的新纪元
摘要
本文介绍了一种名为MUMU的新型多模态图像生成模型，该模型能够从交错的文本和图像提示中生成图像，例如“一个<男人的照片>男人和他的<狗的照片>狗在一个<卡通风格的照片>动画风格中”。MUMU通过从现有的文本-图像数据中提取语义上有意义的图像裁剪来启动多模态数据集。该模型由一个视觉-语言模型编码器和一个扩散解码器组成，并在单个8xH100 GPU节点上进行训练。尽管仅在同一图像的裁剪上进行训练，MUMU能够将来自不同图像的输入组合成连贯的输出，例如，将一个现实人物和一个卡通图像输入，输出为该人物的卡通风格图像。这使得模型能够泛化到风格转换和角色一致性等任务。研究结果显示了使用多模态模型作为图像生成的通用控制器的潜力。
Read more...Petal-X：革新心血管疾病风险沟通的人性化视觉解释工具
摘要
本文介绍了一种名为Petal-X的新工具，旨在通过提供心血管疾病（CVD）风险因素的视觉解释，支持临床医生与患者之间的共享决策。Petal-X利用一种新颖的视觉表示方法——Petal Product Plots，以及一个定制的SCORE2全局代理模型，该模型的保真度与临床实践中使用的图形评分图（GSCs）相当。通过与GSCs的对比实验，结果显示Petal-X在关键任务上表现更优，如比较每个可修改风险因素对患者10年CVD风险的影响，且不会显著降低透明度、信任度或使用意愿。该研究为临床实践中风险可视化和解释提供了一种创新方法，由于其模型无关的特性，可能继续支持下一代人工智能风险评估模型。
Read more...ViPro: 利用程序性知识实现复杂动态场景的视频预测
摘要
本文提出了一种新颖的架构设计，用于在复杂动态场景中利用程序性领域知识直接作为数据驱动模型的计算图的一部分，实现视频预测。基于新的挑战性场景，本文展示了最先进的视频预测模型在复杂动态设置中面临的困难，并强调引入先验过程知识使得学习问题变得可行。本文的方法导致在模型中的数据驱动方面和专门的程序性知识模块之间学习一个符号可寻址的接口，该接口在下游控制任务中得到利用。
Read more...WavRx：开创性的语音健康诊断模型，实现疾病无关和隐私保护的远程监测
摘要
本文介绍了一种名为WavRx的新型语音健康诊断模型，该模型能够捕获语音中的呼吸和发音相关动态，适用于多种疾病，具有高度的通用性和隐私保护特性。WavRx模型基于WavLM模型构建，通过引入一种新颖的调制动态模块，混合了高分辨率的时间WavLM表示与语音的长期调制动态。在六个病理语音数据集上的实验表明，WavRx模型在四个数据集上达到了最先进的性能，并且在跨数据集和疾病的零样本诊断任务中表现出优异的泛化能力。此外，该模型在训练过程中不需要额外的指导，就能显著减少健康嵌入中的说话者身份信息，从而提供了一种隐私保护的解决方案。
Read more...光子神经网络中的特征编码优化：提升准确性与效率的新策略
摘要
本文探讨了光子神经网络（PNNs）中特征表示对准确性的影响。PNNs因其高并行性、低延迟和能效而受到研究社区的广泛关注。然而，将多个特征合并到一个输入中的常见做法改变了网络处理输入数据的方式，这一影响尚未得到充分研究。本文通过开发一种基于特征重要性的数学方法，分析了特征合并对PNNs性能和学习能力的影响。研究发现，合并特征会限制网络从数据中学习的能力，但通过选择最佳编码方法，可以在Iris数据集上实现高达12.3%的准确性提升。这些发现强调了在尺寸或功率受限的应用中，精心选择编码对PNNs准确性和决策策略的重要性。
Read more...利用图形神经网络加速冰川动力学模拟：Pine Island Glacier的新视角
摘要
本文由Younghyun Koo和Maryam Rahnemoonfar撰写，探讨了如何利用图形神经网络（GCN）作为计算高效的模拟器来替代冰盖与海平面系统模型（ISSM）。ISSM通过有限元法和精细网格自适应解决了与冰川动力学相关的斯托克斯方程，但其计算时间受限于仅支持中央处理单元（CPU）。为克服这一限制，作者利用图形处理单元（GPU）的并行处理能力，设计了GCN作为ISSM的快速模拟器。该GCN在Pine Island Glacier（PIG）进行了20年的瞬态ISSM模拟训练和测试，成功再现了冰厚度和速度，相关系数超过0.998，计算速度比基于CPU的ISSM模型快34倍。这一成果为未来在不同融化速率情景下预测PIG变化提供了高保真度和快速计算的可能性。
Read more...Previous Page
140 of 156
Next Page