本文介绍了一种名为MSTF（Multiscale Transformer for Incomplete Trajectory Prediction）的端到端框架，专门用于处理自动驾驶系统中的不完整轨迹预测问题。该框架通过集成多尺度注意力头（MAH）和基于信息增量的模式自适应（IIPA）模块，有效地捕捉了轨迹序列的多尺度运动表示，并自适应地提取了时间步间的运动连续性表示，从而在存在缺失值的情况下提高了轨迹预测的准确性。实验结果表明，MSTF在处理不完整轨迹预测任务上超越了现有的最先进（SOTA）模型。
Read more...
本文介绍了一种名为MUSE的全面机器遗忘评估基准，旨在解决语言模型（LMs）中数据遗忘算法的有效性和实用性评估问题。MUSE通过列举六种不同的遗忘模型期望属性，包括无逐字记忆、无知识记忆、无隐私泄露、保留非移除数据的效用、针对移除请求大小的可扩展性以及在连续遗忘请求中的可持续性，来评估八种流行的遗忘算法在7B参数LMs上的效果。研究结果表明，大多数算法在防止逐字记忆和知识记忆方面表现良好，但仅有一种算法未导致严重的隐私泄露。此外，现有算法未能满足部署者的期望，因为它们经常降低通用模型效用，并且无法可持续地适应连续的遗忘请求或大规模内容移除。
Read more...
本文介绍了一种名为PORCA的新型根因分析（RCA）框架，该框架旨在处理部分观测数据中的根因分析问题。传统的RCA方法通常假设系统数据是完全可观测的，而忽略了部分观测（如缺失节点和潜在故障）的影响，导致分析结果不可靠。PORCA框架通过引入放大评分基础的因果发现方法，有效地优化了在未观测混杂因素下的无环有向混合图，并开发了一种异质性感知的调度策略，以提供自适应样本权重。实验结果表明，PORCA框架在合成数据集和两个真实世界数据集上均表现出色，显示出其在根因分析中的有效性和优越性。
Read more...
随着大型语言模型（LLMs）在各种应用中的普及，建立安全护栏以规范LLMs的输入/输出并确保符合安全政策变得至关重要。现有的护栏模型，如OpenAI Mod和LlamaGuard，独立处理各种安全类别（例如，“自伤”、“自伤/指令”），未能明确捕捉它们之间的相互关联。这导致了诸如由于相关安全类别的长尾数据训练不足而导致的效果不佳、易受越狱攻击以及对新安全类别的灵活性不足等问题。为了解决这些限制，我们提出了R2-Guard，这是一种通过知识增强的逻辑推理实现鲁棒推理的LLM护栏。具体来说，R2-Guard包括两个部分：数据驱动的类别特定学习和推理组件。学习组件提供输入在不同安全类别上的不安全概率。然后，我们将不同类别之间的安全知识编码为一阶逻辑规则，并将其嵌入到概率图形模型（PGM）中作为推理组件。来自数据驱动模型的不同类别的不安全概率被发送到推理组件进行最终推理。我们采用两种类型的PGMs：马尔可夫逻辑网络（MLNs）和概率电路（PCs），并通过改进的图结构优化PCs以实现精确-效率平衡。我们还提出了不同的方法来优化知识的权重。为了进一步进行压力测试，我们采用成对构造方法构建了一个新的安全基准TwinSafety，该基准具有原则性的类别，并为护栏模型提出了新的挑战。我们展示了R2-Guard在给定非代表性类别或挑战性越狱提示时仍然有效。我们在六个安全基准上与八个强大的护栏模型进行了比较，并展示了R2-Guard对四个SOTA越狱攻击的鲁棒性。R2-Guard在ToxicChat上显著超越了LlamaGuard 30.2%，在越狱攻击上超越了59.5%。我们进一步揭示，R2-Guard可以通过简单编辑推理图有效地适应未见的安全类别。
Read more...
本文介绍了一种基于神经网络的信息集加权方法，用于在侦察盲棋（Reconnaissance Blind Chess, RBC）这一不完全信息游戏中提升游戏策略。作者通过训练两种不同的神经网络来估计信息集中每个状态的似然性，从而改善游戏中的决策过程。实验结果表明，Siamese神经网络在给定领域中比传统的卷积神经网络更为高效且准确性更高。最终，基于生成的权重方案构建的RBC玩家在公开排行榜上排名第五。
Read more...
本文介绍了一种名为Sub-SA（Submodular Selective Annotation）的新型选择性注释方法，旨在通过子模块选择性注释技术，降低大型语言模型（LLMs）在上下文学习（ICL）中的注释成本。Sub-SA通过设计一个子模块函数，有效地从大量未标记数据集中选择信息密集的子集，以提高注释质量和减少选择过程的时间消耗。该方法通过奖励和惩罚正则化（RPR）来平衡数据的多样性和代表性，从而在保持理论支持的同时，实现了从小时级到毫秒级的选择过程加速。实验证明，Sub-SA在多种任务和模型上均优于现有选择性注释方法，显示出其在实际ICL场景中的高效性和适用性。
Read more...
本文介绍了一种名为TransAct的新型结构化剪枝方法，旨在减少大型语言模型（LLMs）的计算和内存开销，使其更适合在终端设备上部署。TransAct通过压缩多头部注意力（MHA）和多层感知器（MLP）模块内的过渡激活，同时保留模块间的激活，从而将LLM剪枝成一个低秩的内部模块架构。这种方法在保持模型性能的同时，显著减少了权重、KV缓存和注意力计算的需求。实验结果表明，TransAct在高效性和性能方面均优于现有技术，特别是在高压缩率下表现出色。
Read more...
本文介绍了一种名为TransMA的可解释多模态深度学习模型，用于预测离子化脂质纳米粒子（LNPs）在mRNA递送中的性质。TransMA模型通过融合分子结构的多模态信息，揭示了原子级别的结构-转染关系，并在当前最大的LNPs数据集上实现了最先进的性能。该模型不仅提高了预测的准确性，还增强了模型的可解释性，为LNPs的设计和初步筛选提供了有价值的见解。
Read more...
本文介绍了一种名为Uni-ELF的多级表示学习框架，用于电解质配方设计。该框架通过两阶段预训练方法，重建三维分子结构并预测统计结构属性，从而显著提高电解质设计的预测能力。Uni-ELF在预测分子性质（如熔点、沸点、合成可行性）和配方性质（如导电性、库仑效率）方面表现出色，超越了现有最先进的方法。此外，Uni-ELF能够无缝集成到自动实验设计工作流程中，为基于AI的电解质设计和工程开辟了道路。
Read more...
本文介绍了一种名为VIMI的新型视频生成框架，该框架通过多模态指令实现视频生成的视觉定位。传统的文本到视频扩散模型依赖于仅包含文本的编码器进行预训练，但由于缺乏大规模多模态提示视频数据集，导致视觉定位能力不足，限制了其在多模态集成中的应用。为解决这一问题，VIMI构建了一个大规模多模态提示数据集，并采用两阶段训练策略，使同一模型能够执行多样化的视频生成任务。第一阶段提出了一种多模态条件视频生成框架，用于在这些增强数据集上进行预训练，建立一个基础的视频生成模型。第二阶段在三个视频生成任务上对模型进行微调，进一步提高了模型处理多样输入和任务的能力，确保了多模态信息的无缝集成。VIMI在多个基准测试中展示了其优越的性能，特别是在UCF101基准测试中取得了最先进的文本到视频生成结果。
Read more...