本文由Yifan Hu等人撰写，针对数据驱动的中长期全球天气预报的稳定性问题进行了深入研究。文章指出，传统卷积处理球面数据时产生的畸变是导致长期迭代预报不稳定的主要原因之一。为了解决这一问题，研究团队引入了球谐神经算子（SHNO），该算子利用球谐基函数来减少球面数据的畸变，并通过门控残差频谱注意力（GRSA）机制来纠正不同尺度间的虚假相关性引起的频谱偏差。实验结果表明，SHNO在球面浅水方程和全球中长期天气预报中均能显著提高预报的准确性和稳定性。
Read more...
本文介绍了一种名为Banquet的先进音乐源分离系统，该系统能够通过单一解码器实现超过传统四音轨（VDBO）设置的音乐源分离。传统的音乐源分离系统通常依赖于固定的解码器设置，支持的音轨数量有限且计算复杂度高，难以扩展到长尾乐器。Banquet系统通过引入基于查询的设置，结合音乐乐器识别模型PaSST，实现了对任意数量音轨的分离，且在MoisesDB数据集上的表现接近甚至超越了复杂的六音轨混合变换器模型。此外，该系统还能有效分离如吉他和钢琴等细分类乐器，展示了其在音乐源分离领域的广泛应用前景。
Read more...
本文提出了一种名为 DPA-RAG 的通用框架，旨在解决检索增强生成（RAG）系统中不同组件之间的偏好不一致问题，提高生成性能。通过引入多粒度偏好对齐任务和知识自对齐机制，DPA-RAG 能够更好地满足大语言模型（LLM）的知识需求，从而提高生成质量。
Read more...
本文提出了一种新的方法FERMI，用于大语言模型（LLMs）的少样本个性化，特别是在模型响应与用户意见不一致的情况下。FERMI的核心思想是通过迭代改进个性化提示，基于用户资料（如人口统计信息）和少量先前的意见，学习一组针对每个用户的个性化提示。该方法通过整合LLMs的错误响应上下文，有效地实现了LLMs的个性化，显著提高了在各种基准测试中的性能。
Read more...
本文综述了大型语言模型（LLM）和自主代理在化学领域的应用。文章介绍了LLM的发展历程、工作原理和应用场景，重点讨论了其在化学研究中的作用，包括分子性质预测、逆合成设计、合成预测等。文章还探讨了自主代理的工作原理和应用，以及它们在化学研究中的潜力。最后，文章指出了该领域面临的挑战和未来的发展方向。
Read more...
本文介绍了一种名为MATE（Meet At The Embedding）的新方法，旨在解决视觉语言模型（VLM）在处理长文本（如长描述或文档）时的局限性。MATE通过结合VLM和大型语言模型（LLM）的能力，无需额外的图像-长文本对，实现了图像与长文本的有效对齐。该方法通过一个投影模块，将VLM的文本编码器替换为预训练的LLM编码器，以更好地理解长文本。此外，MATE引入了两个新的跨模态检索基准，以评估图像与长文本连接的任务。实验结果表明，MATE能够有效地连接图像与长文本，揭示多样的语义关系。
Read more...
本文介绍了一种名为MUMU的新型多模态图像生成模型，该模型能够从交错的文本和图像提示中生成图像，例如“一个<男人的照片>男人和他的<狗的照片>狗在一个<卡通风格的照片>动画风格中”。MUMU通过从现有的文本-图像数据中提取语义上有意义的图像裁剪来启动多模态数据集。该模型由一个视觉-语言模型编码器和一个扩散解码器组成，并在单个8xH100 GPU节点上进行训练。尽管仅在同一图像的裁剪上进行训练，MUMU能够将来自不同图像的输入组合成连贯的输出，例如，将一个现实人物和一个卡通图像输入，输出为该人物的卡通风格图像。这使得模型能够泛化到风格转换和角色一致性等任务。研究结果显示了使用多模态模型作为图像生成的通用控制器的潜力。
Read more...
本文介绍了一种名为Petal-X的新工具，旨在通过提供心血管疾病（CVD）风险因素的视觉解释，支持临床医生与患者之间的共享决策。Petal-X利用一种新颖的视觉表示方法——Petal Product Plots，以及一个定制的SCORE2全局代理模型，该模型的保真度与临床实践中使用的图形评分图（GSCs）相当。通过与GSCs的对比实验，结果显示Petal-X在关键任务上表现更优，如比较每个可修改风险因素对患者10年CVD风险的影响，且不会显著降低透明度、信任度或使用意愿。该研究为临床实践中风险可视化和解释提供了一种创新方法，由于其模型无关的特性，可能继续支持下一代人工智能风险评估模型。
Read more...
本文提出了一种新颖的架构设计，用于在复杂动态场景中利用程序性领域知识直接作为数据驱动模型的计算图的一部分，实现视频预测。基于新的挑战性场景，本文展示了最先进的视频预测模型在复杂动态设置中面临的困难，并强调引入先验过程知识使得学习问题变得可行。本文的方法导致在模型中的数据驱动方面和专门的程序性知识模块之间学习一个符号可寻址的接口，该接口在下游控制任务中得到利用。
Read more...
本文介绍了一种名为WavRx的新型语音健康诊断模型，该模型能够捕获语音中的呼吸和发音相关动态，适用于多种疾病，具有高度的通用性和隐私保护特性。WavRx模型基于WavLM模型构建，通过引入一种新颖的调制动态模块，混合了高分辨率的时间WavLM表示与语音的长期调制动态。在六个病理语音数据集上的实验表明，WavRx模型在四个数据集上达到了最先进的性能，并且在跨数据集和疾病的零样本诊断任务中表现出优异的泛化能力。此外，该模型在训练过程中不需要额外的指导，就能显著减少健康嵌入中的说话者身份信息，从而提供了一种隐私保护的解决方案。
Read more...