摘要

本文探讨了高级人工智能代理可能抵抗关闭的问题，并提出了一种解决方案——不完整偏好提案（IPP）。该提案的核心是使用一种新颖的“相同长度轨迹的折扣奖励（DREST）”奖励函数来训练代理，使其在每个轨迹长度下有效追求目标（称为“有用性”），并在不同轨迹长度之间随机选择（称为“中性”）。文章提出并评估了有用性和中性的评估指标，通过在简单的网格世界环境中训练代理，发现这些代理能够学习到有用和中性的行为。研究结果表明，DREST奖励函数可以训练高级代理成为有用和中性的，从而使其变得有用且可关闭。

摘要

本文探讨了如何利用知识图谱（KGs）和大型语言模型（LLMs）自动从非结构化网络威胁情报（CTI）数据中提取可操作的情报。随着网络安全威胁的不断演变，从非结构化CTI数据中提取有价值的见解对于指导网络安全决策至关重要。文章提出了一种方法，通过评估不同的LLMs（如Llama 2系列、Mistral 7B Instruct和Zephyr）在提取CTI文本中的三元组（triples）的有效性，并使用这些三元组构建知识图谱，以提供结构化和可查询的威胁情报表示。实验结果表明，通过指导框架和微调，该方法在提取相关信息方面表现优异，但在大规模数据集上的应用仍面临挑战。

摘要

本文介绍了一种创新的方法，通过将大型矩阵对角化问题构建成半马尔可夫决策过程（Semi-Markov Decision Process）和小型矩阵对角化问题构建成马尔可夫决策过程（Markov Decision Process），来加速Jacobi方法进行矩阵对角化。此外，本文还探讨了在不同大小矩阵之间利用可扩展架构的潜力。在短暂的训练期间，该方法显著减少了对角化所需的步骤数，并展示了高效的推理能力。重要的是，这种方法显示出对大型矩阵的可扩展性，表明其广泛应用的潜力。训练完成后，我们获得了动作-状态概率和状态转移图，这些输出不仅提供了对角化过程的洞察，还为大规模矩阵对角化节省了成本。这项研究在矩阵对角化的效率和可扩展性方面取得了进展，为科学和工程领域的实际应用开辟了新的可能性。

摘要

本文介绍了一种名为Chest-Diffusion的新型轻量级文本到图像模型，专门用于从医疗报告生成胸部X光（CXR）图像。该模型解决了医疗报告与自然文本之间分布差异大以及现有稳定扩散模型计算复杂度高的问题。Chest-Diffusion通过引入领域特定的文本编码器和轻量级变换器架构，显著提高了生成图像的真实性并降低了计算复杂度。实验结果显示，Chest-Diffusion在计算预算仅为118.918 GFLOPs的情况下，实现了最低的FID分数24.456，其计算复杂度仅为Stable Diffusion（SD）的三分之一。

摘要

本文探讨了在强化学习与人类反馈（RLHF）框架下，如何通过迭代纳什策略优化（INPO）算法，使大型语言模型（LLM）与人类普遍偏好对齐。传统的RLHF方法基于Bradley-Terry（BT）模型假设，可能无法完全捕捉人类偏好的复杂性。INPO算法通过无悔学习，让策略自我对抗，从而逼近纳什策略，避免了估计单个响应预期胜率的高计算或标注成本。实验结果显示，INPO在多个基准测试中显著优于现有迭代算法，特别是在AlpacaEval 2.0和Arena-Hard v0.1上取得了显著的改进。此外，消融研究表明，结合KL正则化有助于控制响应长度。

摘要

本文由Agustín Roca和Nicolás Britos撰写，作为他们在Instituto Tecnológico de Buenos Aires (ITBA)的计算机工程学位最终项目，由Rodrigo Ramele指导。该项目与非盈利组织Innocence Project合作，旨在研究人脸识别在司法鉴定中的可靠性。论文的核心在于探讨StyleGAN2在生成和修改人脸图像时，如何保持“人脸框架”（face-frame）的一致性。人脸框架定义为面部轮廓、头发和耳朵等特征，这些特征在人脸识别中对记忆的影响至关重要。论文通过实验验证了在修改眼睛或嘴巴的开合时，人脸框架的稳定性，以及在改变面部垂直方向、性别、年龄和微笑时，人脸框架的变化程度。这些发现对于理解记忆在司法鉴定中的作用具有重要意义，特别是在防止错误定罪方面。

摘要

本文介绍了一种基于上下文组合多臂老虎机（Contextual Combinatorial Multi-Armed Bandits）的谈判策略学习方法，旨在解决谈判中的两大关键挑战：探索-利用困境（exploration-exploitation dilemma）和大动作空间问题。该方法通过组合多臂老虎机解决了探索-利用困境，并通过其组合性质处理大动作空间。此外，本文还引入了NegUCB算法，该算法能够处理谈判中的部分观测和复杂奖励函数问题。NegUCB算法在温和假设下保证了次线性的后悔上界，并通过在三个谈判任务上的实验证明了其优越性。

摘要

本文探讨了因果认知和因果强化学习之间的联系，提出了一个统一的因果认知理论和计算框架。该框架基于因果表示学习，通过解耦表示来实现因果理解，并将其应用于动物认知和人工智能领域。

<工作原理>

1. 因果表示学习：通过对数据的分析和建模，学习数据中的因果关系。
2. 解耦表示：将数据表示为多个独立的因素，以便更好地理解和处理数据。
3. 因果理解：通过对解耦表示的分析，实现对因果关系的理解和推断。

<工作流程>

1. 数据收集：收集相关的数据，包括观察数据、干预数据等。
2. 因果表示学习：使用因果表示学习算法，学习数据中的因果关系。
3. 解耦表示：将学习到的因果关系表示为解耦的形式，以便更好地理解和处理。
4. 因果理解：通过对解耦表示的分析，实现对因果关系的理解和推断。

<应用前景>

1. 动物认知研究：帮助我们更好地理解动物的认知能力和行为模式。
2. 人工智能系统：设计更智能、更高效的人工智能系统。
3. 因果推理：在医学、社会学等领域中进行因果推理和预测。

<标题> 探索因果认知的奥秘：从动物到人工智能的统一框架

摘要

本文探讨了一种基于物理信息决策变换器（Physics-Informed Decision Transformer, PIDT）的分布系统恢复（Distribution System Restoration, DSR）方法，该方法利用大型语言模型（Large Language Models, LLMs）的强大计算能力来解决传统深度强化学习（Deep Reinforcement Learning, DRL）在处理大规模复杂分布系统恢复问题时的可扩展性挑战。这是首次尝试将基础模型（包括LLMs）应用于电力系统操作中的传统DRL应用，特别是在DSR操作中。论文的主要贡献包括引入了一种新的LLM驱动的PIDT框架，并通过对比研究评估了该框架在解决DSR问题初期的性能。此外，该框架具有优化电力系统中序列决策的广泛应用潜力。

摘要

本论文探讨了大型语言模型（LLMs）在临床命名实体识别（NER）中的应用，特别是在罕见疾病领域的标记级NER。论文指出，尽管LLMs在多个领域表现出色，但在处理临床文本中的标记级NER时仍面临挑战。研究通过一系列实验，包括零样本提示、少量样本提示、检索增强生成（RAG）和指令微调，评估了LLMs在标记级NER中的有效性，特别是在罕见疾病数据稀缺和专业性强的背景下。研究结果表明，通过适当的微调，本地开源LLMs在特定临床NER任务中可以超越专有模型，显示出在医疗信息学领域的应用潜力。