本文探讨了在安全关键的强化学习（RL）环境中，通过引入额外的成本函数来确保代理的安全行为，而不是修改奖励函数。设计或评估这样的成本函数可能非常昂贵，例如在自动驾驶领域，设计一个包含所有不安全行为的成本函数（如激进的变道、冒险的超车）是复杂的，且必须考虑场景中的所有参与者，这使得评估成本昂贵。在这种情况下，成本函数可以从离线收集的反馈中学习，这些反馈可以由系统生成或在训练过程中由观察者提供。本文提出了一种能够扩展到更复杂领域并超越状态级反馈的方法，从而减轻评估者的负担。该方法通过引入一个代理目标，将问题转化为带有噪声标签的状态级监督分类任务，从而有效地解决了在基于轨迹级反馈分配信用给单个状态的挑战。此外，由于不可能收集代理生成的每条轨迹的反馈，因此提出了基于新颖性的采样机制，仅在代理遇到新颖轨迹时才涉及评估者，并在轨迹不再新颖时停止查询。通过在多个基准安全环境和高保真自动驾驶场景中进行实验，展示了该方法的高效性。
Read more...
本文探讨了量子信息处理中的一个关键问题：量子纠缠的检测。量子纠缠是量子计算和通信中的重要资源，但其检测在实际应用中面临理论和实践上的挑战。文章提出了一种基于经典多臂老虎机算法的新方法，用于在参数化的量子比特态中检测纠缠。该方法通过引入一种单参数的纠缠见证测量家族，能够在不进行全状态断层扫描的情况下，有效地检测某些纠缠态。此外，文章还展示了如何利用经典机器学习技术来解决量子纠缠检测问题，并提供了理论保证和数值模拟来验证其有效性。
Read more...
本文探讨了在保护大型语言模型（LLM）适应性方面面临的挑战，特别是在黑盒微调接口允许恶意行为者破坏模型安全性的情况下。论文介绍了一种名为“隐蔽恶意微调”的方法，该方法通过微调使模型对编码的有害请求产生编码的有害响应，从而绕过检测。这种方法在GPT-4模型上进行了测试，结果显示微调后的模型在99%的情况下会响应有害指令，同时避开了数据集检查、安全评估和输入/输出分类器等防御机制。论文强调了保护LLM微调接口免受复杂对手攻击的挑战，并提出了改进防御和部署前测试的必要性。
Read more...
本文介绍了一种名为“Mixture-of-Prompts (MoP)”的自动化提示构建方法，旨在优化大型语言模型（LLMs）的提示设计。传统的提示优化方法通常局限于单一的演示无提示指令，这种方法在处理复杂任务时可能不足以覆盖整个问题空间。MoP通过采用混合专家（MoE）范式，将问题空间划分为多个子区域，并为每个子区域配备一个专门的专家（提示），每个专家包含一个指令和一组演示。文章详细介绍了MoP的两阶段构建过程：演示分配和指令分配，并通过实验证明了MoP在多个主要基准测试中平均胜率达到81%，显著优于现有方法。
Read more...
本文档涉及的是“周祝公路等路段2023年公路排水管道设施养护项目承包合同（天佑市政）”，主要论述了在特定路段的排水管道设施养护问题。文档提供了具体的解决方案，即通过签订承包合同的方式，由专业公司（天佑市政）负责这些路段的排水管道养护工作。这一解决方案有助于确保公路排水系统的长期稳定运行，提高了道路使用的安全性和效率。
Read more...
本文探讨了大型语言模型（LLM）生成内容的事实验证问题，特别是在原子事实的上下文处理方面。文章提出了“分子事实”的概念，旨在通过去上下文化和最小化两个标准来优化事实验证过程。分子事实能够在保持原子性的同时，提供足够的上下文信息以正确解释和验证事实。文章通过实验展示了分子事实在处理模糊实体引用和提高事实验证准确性方面的有效性。
Read more...
本文介绍了一种名为ACES（Automatic Cohort Extraction System for Event-Stream Datasets）的自动化队列提取系统，旨在解决医疗健康领域机器学习（ML）研究中的可重复性问题。ACES通过提供一种直观且表达力强的配置语言，简化了ML任务和队列的定义，并能够从实际的电子健康记录（EHR）数据中自动提取符合定义标准的患者记录。该系统不仅提高了任务定义的可共享性和可重复性，还重新定义了研究人员与EHR数据交互的方式，有望显著提升医疗健康领域ML研究的可重复性和互操作性。
Read more...
本文《AI for Extreme Event Modeling and Understanding: Methodologies and Challenges》深入探讨了人工智能（AI）在极端事件建模和理解中的应用，特别是在地球系统科学领域。文章指出，尽管AI在天气预报、模型仿真和参数估计等方面取得了显著进步，但在处理极端事件时仍面临诸多挑战，如从噪声大、异质性强和标注有限的数据中开发准确的预测器。文章强调了创建准确、透明和可靠的AI模型的重要性，并讨论了在实时信息整合、模型部署和可理解性方面的障碍，这些都是赢得利益相关者信任和满足监管需求的关键。此外，文章还强调了跨学科合作在创建实用、可理解和可信的AI解决方案中的必要性，以提高灾难准备和风险降低能力。
Read more...
本文介绍了一种名为Beam Aggregation Reasoning (BeamAggR)的推理框架，用于解决知识密集型多跳问答任务中的挑战。该框架通过将复杂问题分解为树状结构，并采用自底向上的推理方法，有效地整合多源知识，探索并优先考虑每个推理步骤中有前景的答案。BeamAggR在四个开放域多跳推理数据集上进行了广泛实验，显著优于现有最先进的方法，平均提升了8.5%的性能，显示出其在知识协作和答案聚合方面的优越性。
Read more...
本文介绍了一种名为BMW Agents的框架，该框架通过多智能体协作实现任务自动化。随着大型语言模型（LLMs）驱动的自主智能体在解决复杂任务、与外部系统交互以增强知识、触发行动等方面的潜力日益显现，多智能体方法在从复杂知识检索系统到下一代机器人流程自动化等众多工业应用中展现出巨大潜力。本文详细阐述了设计一个灵活的智能体工程框架的原则，该框架注重规划和执行，能够处理跨领域的复杂用例应用，并提供了可靠性、可扩展性、灵活性和协作性的技术保证。
Read more...