本文探讨了自然语言处理（NLP）中评估文本摘要的挑战，提出了一种基于大型语言模型（LLMs）的新方法。通过对比八种自动评估指标、人工评估和LLM方法，研究了七种最先进的摘要模型在专利文档数据集上的表现。结果显示，LLM评估与人工评估高度一致，而常用的自动评估指标如ROUGE-2、BERTScore和SummaC则缺乏一致性。此外，本文还提出了一种基于LLM的框架，用于自动评估和改进文本摘要，这一方法在社区中引起了广泛关注。
Read more...
本文探讨了在大型语言模型（LLMs）中个性化偏好优化的影响，揭示了知识损失与偏好异质性之间的显著关系。尽管先前的研究利用KL约束来维持参考模型与策略模型之间的一致性，但在面对个性化偏好时，这些方法未能有效保持通用知识和一致性。为此，本文引入了基于锚定的偏好优化（BAPO）方法，该方法通过利用参考模型的初始响应来减轻遗忘，同时适应个性化的一致性。BAPO在适应多样化用户偏好的同时，最小程度地影响全局知识或通用一致性。实验证明，BAPO在多种设置下均有效。
Read more...
本文介绍了一种名为BaTex的新型个性化文本到图像生成方法，该方法通过利用文本子空间来提高生成图像的个性化程度和效率。传统的文本到图像生成方法主要关注图像重建任务的性能，导致难以与不同的文本提示灵活结合。此外，在高维嵌入空间中进行优化通常会导致不必要的耗时训练过程和缓慢的收敛。为了解决这些问题，BaTex方法通过在文本子空间中探索目标嵌入，利用自表达性属性，并提出了一种有效的选择策略来确定文本子空间的基向量。实验结果表明，BaTex不仅能够忠实地重建输入图像，还能显著提高与新输入文本提示的对齐度，并且对初始词的鲁棒性有所提高，使用户无需输入最相关的初始词。BaTex方法为个性化文本到图像生成的高效表示学习打开了新的大门。
Read more...
本文介绍了一种名为CaFNet的新型两阶段端到端可训练网络，用于结合RGB图像和稀疏雷达点云数据进行密集深度估计。该方法特别适用于自动驾驶领域，通过解决雷达数据特有的挑战，如模糊的仰角和噪声测量，提高了深度估计的准确性和可靠性。CaFNet通过预测雷达置信度图和初步粗略深度图，以及创新的置信度感知门控融合机制，有效地整合了雷达和图像特征，从而在nuScenes数据集上显著提升了性能，特别是在Mean Absolute Error (MAE)和Root Mean Square Error (RMSE)指标上。
Read more...
本文介绍了一种名为Commute Graph Neural Networks (CGNN)的新型图神经网络，专门用于处理有向图（digraphs）中的学习问题。CGNN通过将有向图中的节点通勤时间（commute time）信息整合到消息传递机制中，有效地捕捉了节点间的相互不对称关系。传统的图神经网络在处理有向图时，主要捕捉单向关系，而忽略了路径不对称性带来的复杂性。CGNN通过一种新型的有向图拉普拉斯（DiLap）计算通勤时间，并将其应用于邻居聚合过程中，根据邻居节点到中心节点的通勤时间来加权邻居的贡献。实验结果表明，CGNN在多个有向图数据集上取得了最先进的性能。
Read more...
本文介绍了一种名为HASNAS的新型硬件感知脉冲神经架构搜索（NAS）框架，该框架专为神经形态计算内存储（CIM）系统设计。HASNAS旨在发现能够在给定的内存、面积、延迟和能量消耗约束下提供高精度的脉冲神经网络（SNN）。SNN因其超低功耗计算能力在解决多样化的机器学习任务中显示出潜力。然而，现有的SNN架构往往未考虑应用和底层CIM硬件的约束，限制了其性能和效率。HASNAS通过优化SNN操作、开发有效的SNN架构和设计硬件感知的搜索算法，实现了在满足多重约束的同时快速找到高性能SNN的目标。实验结果表明，HASNAS能够在CIFAR10和CIFAR100数据集上实现高达11倍的搜索速度提升，同时满足严格的硬件约束，为高效设计自动化提供了可能。
Read more...
本文介绍了一种基于大型语言模型（LLM）的自动化自校正流水线LASSI，用于翻译并行科学代码。LASSI通过引导现有的闭源或开源LLM，实现了在OpenMP和CUDA之间的双向代码翻译。该框架通过自校正循环，将编译和执行过程中遇到的错误反馈给LLM，以进行调试和重构。实验结果表明，LASSI在不同应用代码和四个LLM上的评估显示了其生成可执行并行代码的有效性，其中80%的OpenMP到CUDA翻译和85%的CUDA到OpenMP翻译产生了预期的输出。
Read more...
本文介绍了一种基于模型的离线强化学习方法——Lower Expectile Q-learning（LEQ），旨在解决从有限静态数据中学习的问题。LEQ通过使用学习到的模型生成虚拟轨迹，并利用expectile回归对λ-returns进行处理，有效减少了模型基于价值估计中的高偏差，从而显著提升了在长视野任务（如D4RL AntMaze任务）中的表现，甚至能够与无模型方法相媲美。实验结果表明，LEQ在长视野任务中明显优于先前的基于模型的离线强化学习方法，并在NeoRL基准和D4RL MuJoCo Gym任务中达到了与最先进的基于模型和无模型的离线强化学习方法相媲美的性能。
Read more...
本文探讨了如何从数学公理中发现数学定理的柏拉图式观点，并描述了MINIMO（从内在动机出发的数学）：一个同时学习提出挑战性问题（猜想）和解决这些问题（定理证明）的代理。给定一个在依赖类型理论中公理化的数学领域，我们首先结合受限解码和类型导向合成的方法，从语言模型中采样有效的猜想。我们的方法保证了猜想的良好形式化，即使在模型随机初始化的情况下也是如此。我们使用相同的模型来表示证明搜索的策略和价值函数。我们的代理目标是生成难以证明但可证明的猜想——这是一个移动目标，因为代理自身的定理证明能力也在训练过程中提高。我们提出了在证明搜索树上进行事后重标记的新方法，以显著提高代理在两个任务中的样本效率。实验在三个公理化领域（命题逻辑、算术和群论）中进行，表明我们的代理可以从仅有的公理出发，自我改进，生成真实且具有挑战性的猜想并找到证明。
Read more...
本文介绍了一种用于训练多智能体系统在Pommerman环境中进行2vs2团队模式游戏的方法，该方法结合了课程学习和基于种群的自玩（self-play）策略。Pommerman是一个多智能体环境，具有延迟动作效果、稀疏奖励和假阳性奖励等挑战。本文提出的系统通过课程学习帮助智能体逐步掌握游戏技能，随后通过基于种群的自玩系统进一步提高智能体的性能。此外，本文还解决了稀疏奖励和有效的匹配机制问题，通过引入基于智能体性能的自适应退火因子来动态调整密集探索奖励，并利用Elo评分系统实现智能体的有效配对。实验结果表明，训练后的智能体能够在不需队友间通信的情况下超越顶级学习智能体。
Read more...