本文介绍了一种名为Adversarial-MidiBERT的符号音乐理解模型，该模型基于无偏预训练和掩码微调技术。在音乐信息检索（MIR）领域中，符号音乐理解（SMU）是一个重要的研究方向，它可以帮助音乐家和业余爱好者学习和创作音乐。由于符号音乐与自然语言的相似性，预训练语言模型在SMU中得到了广泛应用。然而，预训练模型中的偏见问题，如性别、年龄和种族歧视，影响了下游任务的性能。为了解决这一问题，本文提出了一种基于对抗学习的无偏预训练方法和掩码微调技术，以提高模型的收敛速度和性能。实验结果表明，该方法在四个音乐理解任务中表现出色。
Read more...
本文介绍了一种名为“分层共识多智能体强化学习（Hierarchical Consensus-Based Multi-Agent Reinforcement Learning, HC-MARL）”的新框架，旨在解决多智能体强化学习（MARL）中的一个关键问题：在训练时使用全局状态信息，而在执行时仅依赖局部观察，缺乏全局信号的指导。HC-MARL框架受人类社会共识机制的启发，通过对比学习促进智能体之间的全局共识，使智能体能够在没有直接通信的情况下形成合作行为。该框架通过分层共识机制，结合短期和长期观察，动态调整各共识层的影响，优化任务执行中的即时反应和战略规划之间的平衡。实验结果显示，HC-MARL在多机器人系统的模拟和实际应用中表现优异，显著超越了基准算法。
Read more...
本文介绍了一种名为eyeballvul的基准测试，用于评估大型语言模型（LLM）在实际代码库中检测安全漏洞的能力。该基准测试从开源仓库中每周更新已发布的漏洞数据，包含超过24,000个漏洞和6,000多个修订版本。eyeballvul的特点包括真实世界的漏洞数据、实际检测场景、大规模数据集、多语言支持以及未来可更新性。论文还详细描述了基准测试的创建过程、工作原理、应用前景以及初步测试结果，展示了当前LLM在漏洞检测方面的性能和潜在改进方向。
Read more...
随着年轻成人心理健康问题的日益突出，日常数字情绪监测成为早期检测的重要手段。本文探讨了利用大型语言模型（LLMs）通过智能手机传感器特征预测情绪状态的可能性。研究通过收集和分析大学学生的智能手机数据，展示了LLMs在零样本和少样本学习环境下的有效性，揭示了智能手机行为模式与情绪状态之间的复杂联系。这是首次将LLMs应用于情绪状态预测和数字表型任务的研究，为心理健康监测提供了新的视角和方法。
Read more...
本文介绍了一种名为MetaUrban的新型模拟平台，该平台专为城市空间中的具身人工智能（Embodied AI）研究设计。随着机器人和具身AI技术的进步，公共城市空间不再仅限于人类使用，食品配送机器人、电动轮椅和各种机器人狗等设备已经开始共享这些空间。MetaUrban平台通过组合元素构建了无数交互式城市场景，涵盖了广泛的地图布局、物体摆放、行人和其他移动代理的外观和动态。该平台设计了点导航和社交导航任务，通过强化学习和模仿学习建立了多种基准。实验表明，模拟环境的组合性质可以显著提高训练移动代理的泛化性和安全性。MetaUrban将公开提供，以促进城市空间中安全可信的具身AI研究。
Read more...
本文介绍了一种名为TLDR的无监督目标条件强化学习（GCRL）方法，该方法利用时间距离感知表示（Temporal Distance-aware Representations）来提高机器人在复杂环境中的探索能力和目标达成策略学习。TLDR通过选择远离当前状态的目标来启动探索，并基于时间距离计算内在探索奖励和目标达成奖励。实验结果表明，TLDR在模拟机器人运动环境的六个场景中显著优于先前的无监督GCRL方法，能够覆盖更广泛的状态空间。
Read more...
本文探讨了神经形态计算与边缘计算的协同潜力，旨在构建适用于动态视觉传感器捕获数据处理的灵活机器学习系统。研究团队构建并训练了混合模型，结合了脉冲神经网络（SNN）和人工神经网络（ANN），利用PyTorch和Lava框架进行开发。混合架构整合了SNN用于时间特征提取和ANN用于分类。文章深入探讨了在硬件上部署这类混合结构面临的挑战，特别是在Intel的神经形态处理器Loihi（用于SNN）和Jetson Nano（用于ANN）上的部署。此外，文章还提出了一种累加器电路，用于在脉冲和非脉冲域之间传输数据。通过在神经形态和边缘AI硬件的异构系统上对混合SNN-ANN模型进行全面性能分析，评估了准确性、延迟、功率和能量消耗。研究结果表明，混合脉冲网络在所有指标上均超越了基线ANN模型，并在准确性和延迟上优于基线SNN模型。
Read more...
本文探讨了神经网络机制解释性工作中的一个关键问题：如何测量“电路”（即模型中负责特定任务的子图）的“忠诚度”。作者发现，现有的忠诚度测量方法对实验设计中的微小变化极为敏感，这表明忠诚度评分不仅反映了电路本身的特性，还受到研究者选择的方法论影响。文章强调了在解释性研究中明确声明实验方法的重要性，并开源了一个包含多种消融方法和电路发现算法的高效实现库。
Read more...
本文探讨了并行持续学习（PCL）中的训练稳定性问题，特别是在多源输入数据情况下的持续学习方法。PCL适用于复杂的多源数据系统，如配备多传感器的自动驾驶车辆。然而，由于多个任务需要同时训练，PCL在正向和反向传播过程中存在严重的训练不稳定性，表现为特征纠缠和梯度冲突。为此，本文提出了一种新的稳定并行持续学习（SPCL）方法，通过在正向传播中应用基于双块Toeplitz（DBT）矩阵的正交性约束，以及在反向传播中采用正交分解来管理梯度，从而增强训练稳定性。实验结果表明，SPCL方法在多个数据集上优于现有方法，显著提高了训练稳定性。
Read more...
本文探讨了长序列模型在处理长序列数据时的能力，特别是在理论上的无限序列长度支持与实际应用中的性能之间的差距。论文通过对比不同架构的模型，如Transformer和线性序列模型，评估了它们在长上下文任务中的表现。研究发现，尽管线性序列模型在理论上能够处理无限长度的序列，但在实际应用中仍然存在显著的限制，特别是在信息保留和推理能力方面。论文强调了进一步研究长序列模型行为的必要性，以提高其在长上下文理解和推理方面的能力。
Read more...