本文介绍了一种基于对比自监督学习的方法，用于训练WV模式卫星图像的基础模型WV-Net。该研究利用近1000万张WV模式图像，通过对比自监督学习训练了一个语义嵌入模型WV-Net。在多个下游任务中，WV-Net的表现优于通过监督学习预训练的自然图像模型（如ImageNet）。实验结果显示，在估计波浪高度、近表面空气温度以及多标签分类等任务中，WV-Net的性能均有显著提升。此外，WV-Net在无监督图像检索任务中也表现出优越性能，并且在数据稀疏环境中具有更好的扩展性。这些结果表明，WV-Net嵌入可以支持地球物理研究，为各种数据分析和探索任务提供了一个方便的基础模型。
Read more...
本文《Towards Deep Active Learning in Avian Bioacoustics》由Lukas Rauch等人撰写，探讨了在鸟类生物声学中应用深度主动学习（Deep Active Learning, AL）的问题。论文背景在于被动声学监测（Passive Acoustic Monitoring, PAM）在鸟类生物声学中的应用，虽然这种方法成本效益高且对自然环境干扰小，但分析这些录音需要大量的人工专家标注，导致成本高昂。论文提出的解决方案是利用深度主动学习技术，通过查询最具信息量的实例进行标注，从而降低标注成本并加速模型适应多样化的环境。论文还进行了一项小规模的试点研究，展示了深度主动学习在鸟类生物声学中的应用潜力。
Read more...
本文介绍了《快速优化器基准测试》（Fast Optimizer Benchmark, FOB），这是一个专为评估深度学习优化器在其开发过程中性能而设计的工具。FOB支持来自多个领域的任务，如计算机视觉、自然语言处理和图学习，并强调便捷的使用体验，包括可读的YAML配置、SLURM集成和绘图工具。该工具可以与现有的超参数优化（HPO）工具结合使用，处理训练和恢复运行。其模块化设计使其可以集成到自定义管道中，简单地作为一个任务集合使用。本文通过一个优化器比较示例展示了工具的使用。FOB可在GitHub上找到：https://github.com/automl/FOB。
Read more...
本文介绍了一种基于大型语言模型（LLM）的知识合成与科学推理框架——BioLunar，该框架专为生物医学发现设计，特别是在肿瘤学中的生物标志物发现。BioLunar通过集成LLM，能够跨分布式证据空间进行复杂的科学推理，增强了对异构数据源的协调和推理能力。该平台采用模块化设计，提供可重用的数据访问和数据分析组件，以及一个低代码用户界面，使不同编程水平的研究人员都能构建LLM支持的科学工作流程。通过促进从异构证据中自动进行科学发现和推理，BioLunar展示了LLM与专业数据库和生物医学工具集成以支持专家级知识合成和发现的潜力。
Read more...
本文介绍了一种名为PianoBART的预训练模型，该模型专为符号钢琴音乐的生成和理解设计。PianoBART利用BART框架，通过多级对象选择策略，有效地防止了信息泄露或损失，并增强了学习能力。该模型在音乐生成和理解任务中表现出色，能够生成高质量、连贯的音乐作品，并深入理解音乐结构。PianoBART的提出为自动音乐生成和理解领域带来了新的突破，展示了其在音乐研究和创作中的巨大潜力。
Read more...
本文由Ruiqing Yan等人撰写，深入探讨了Transformer模型中注意力机制的一个异常现象：即模型对序列的第一个元素赋予了过高的注意力。这种现象在基于Transformer的多种模型中普遍存在，对KV缓存压缩和无限外推等技术的开发具有重要影响。本文从“豁免现象”的角度解释了这一现象，即模型通过降低序列中某些元素的内部值，使其吸收多余的注意力而不影响其信息贡献。文章提出了两种选择豁免元素的方法：基于位置编码和基于元素内特征分布。通过实验验证，本文展示了如何通过调整结构化掩码矩阵和位置编码内的特征分布来控制元素是否成为豁免选项，从而为提高Transformer模型的效率和性能提供了新的见解。
Read more...
本文探讨了在实际应用中部署大型语言模型（LLMs）时，如何在性能和成本之间取得平衡的问题。文章提出了一种高效的动态路由模型，该模型在推理过程中根据查询的复杂性智能选择使用更强大但成本更高的模型或较弱但成本更低的模型。通过利用人类偏好数据和数据增强技术，该路由模型在多个广泛认可的基准测试中显著降低了成本，同时保持了响应质量。此外，该路由模型还展示了显著的迁移学习能力，即使在测试时更换了强弱模型，也能保持其性能。
Read more...
本文提出了一种基于大型语言模型（LLM）的系统框架LAHAR，用于解决多人在场环境下的基于环境传感器的人类活动识别（HAR）问题。传统HAR方法面临数据稀缺、模型泛化困难、多用户场景识别复杂等挑战。LAHAR通过提示工程技术，实现了对环境事件的个体分离和动作级别描述，从而在多用户场景中实现高效且可解释的活动识别。实验结果表明，LAHAR在ARAS数据集上与现有最先进方法相比，具有更高的分辨率和在多用户场景中的鲁棒性。
Read more...
本文由Xue Yao等人撰写，探讨了在混合交通环境中，连接和自动化车辆（CAVs）进行合作换道的问题。文章通过深度强化学习（DRL）算法，特别是DDPG、TD3、SAC和PPO，来解决这一复杂场景中的不确定性问题。研究结果表明，PPO算法在安全性、效率、舒适性和环保性方面表现最佳，为CAVs的换道策略提供了优化的解决方案。
Read more...
本文介绍了一种利用配备LiDAR传感器的多机器人系统通过联邦学习（Federated Learning, FL）进行迷宫探索的方法。该研究旨在训练分类模型，以准确识别由不规则形状墙壁构成的两个不同方形迷宫中的网格区域形状。由于墙壁形状的不同，在一个迷宫中训练的分类模型无法泛化到另一个迷宫。通过在探索单一迷宫的机器人之间采用FL框架，集体知识使得机器人能够在未见过的迷宫中准确操作。这展示了FL在实际应用中提高分类准确性和迷宫探索任务鲁棒性的有效性。
Read more...