优化RAG模型在DSL代码生成中的应用与前景
摘要
本文探讨了自然语言到代码生成（NL2CodeGen）在特定领域语言（DSL）中的应用，特别是在处理大量自定义函数名称时的问题。传统的自然语言处理模型（如大型语言模型LLMs）在处理DSL时经常出现幻觉和语法错误。为了解决这些问题，本文提出了一种优化检索增强生成（RAG）的方法，并与传统的微调方法进行了比较。研究结果显示，优化后的RAG模型在代码相似度指标上与微调模型相当，并在处理新未见API时具有优势。
Read more...创新轨迹聚类方法：提升自动驾驶模拟与交通分析的精确性
摘要
本文提出了一种基于数据驱动的轨迹聚类方法，用于从大量观测数据中推断出真实场景中可能存在的行为，以获取不同类型的轨迹。该方法考虑了汽车、行人和自行车等不同类型的弱势道路使用者（VRU），并能够在不使用地图信息的情况下，从原始数据中提取出定义明确的轨迹类别，同时将“异常”或不完整的轨迹与完整且具有代表性的轨迹区分开来。本文在三个不同的交叉口和一个环形交叉口环境中测试了所提出的方法，结果表明，所得到的轨迹簇可以用于预测或学习任务，或者在包含异常值时被丢弃。
Read more...加速联邦边缘学习：联合优化资源分配与数据选择的创新方法
摘要
本文探讨了在无线边缘部署联邦学习（FEEL）时面临的资源分配和数据选择问题。由于FEEL系统中通信资源有限且设备上的数据可能存在标签错误，不当的资源分配或数据选择会损害收敛速度并增加训练成本。因此，本文强调联合优化资源分配和数据选择，以实现高效的FEEL系统。通过严格建模训练过程并推导FEEL一轮收敛率的上界，本文建立了一个联合资源分配和数据选择的问题，并通过变量替换将其转化为可解形式，进而分解为两个子问题：资源分配问题和数据选择问题。基于匹配理论和凸-凹过程及梯度投影方法，本文设计了一个低复杂度的次优算法来解决这两个子问题。最后，通过数值结果验证了所提出方案的优越性。
Read more...图学习理论基础与前沿综述
摘要
本文是对图学习理论基础和前沿的综述，旨在为理解和分析具有复杂结构的数据提供全面的理论指导。文章涵盖了图学习的基本方法、表达能力、泛化能力、优化方法等方面，并探讨了图神经网络在长程和高阶交互方面的问题。此外，文章还介绍了图学习的应用领域和未来研究方向。
Read more...如何评估自然语言处理模型解释的实用性？
摘要
这篇论文探讨了如何评估自然语言处理（NLP）模型解释的实用性，以促进人类-AI 决策。文章指出，尽管解释性方法已通过概念验证测试，但在 NLP 中，以人类为中心、基于应用的解释评估仍然不足。文章提出了评估解释的要求和数据集选择标准，通过对 50 多个数据集的分析，发现只有 4 个数据集符合要求。文章还介绍了如何通过微调 Flan-T5-3B 模型来重新评估最先进的技术，并通过实例研究了人类-AI 决策在验证法律声明任务中的应用。研究结果表明，成功的推迟是推进人类-AI 团队的一个有前途的方向。
Read more...强化学习与蛋白质语言模型：革新蛋白质序列设计的新途径
摘要
本文探讨了利用蛋白质语言模型（PLMs）和强化学习（RL）进行蛋白质序列设计的有效性。蛋白质序列设计在药物发现中至关重要，传统方法如进化策略或蒙特卡洛方法未能充分利用组合搜索空间的结构，难以泛化到未见序列。本文提出了一种新的方法，使用PLMs作为奖励函数来生成新的蛋白质序列，同时解决了PLMs计算成本高的问题，通过引入一个周期性微调的小型代理模型来优化得分，从而减少计算负担。实验结果表明，RL方法在生物学合理性和序列多样性方面表现出色，证明了其在生物序列设计中的潜力。此外，本文还提供了一个模块化的开源实现，支持替换奖励模型，以促进该领域的进一步研究。
Read more...心理史学的现代实现：利用TDA和AI预测社会趋势
摘要
本文探讨了如何利用拓扑数据分析（TDA）、人工智能（AI）和社会媒体数据来预测社会趋势，灵感来源于艾萨克·阿西莫夫的科幻科学概念——心理史学。文章通过分析社会媒体作为集体人类行为的反射面，提出了一种结合计算能力和数学框架的方法，特别是通过TDA和AI，来预测大规模社会行为。这种方法不仅与阿西莫夫的愿景对话，还展示了现代计算技术如何揭示社会行为的模式和预测转变，为数字社会学甚至心理史学的新兴领域做出贡献。
Read more...探索AI与艺术的融合：MuDiT/MuSiT框架在口语描述到歌曲生成中的创新应用
摘要
本文探讨了生成式AI与人类艺术创作过程的交叉领域，特别是自动歌曲创作中的人机对齐问题。研究提出了一项新的任务——口语描述到歌曲生成，旨在使生成的内容与人类的口语表达对齐。该任务要求AI模型不仅理解口语语言，还要在听觉表达上与人类期望相符，并符合音乐结构规范。为解决数据稀缺问题，研究团队创建了CaiMD数据集，该数据集由专业音乐家和业余爱好者共同标注，提供了多样化的视角和全面的口语描述理解。此外，研究还提出了一种创新的单阶段框架MuDiT/MuSiT，用于实现歌曲创作中的人机对齐，确保生成的歌曲与用户的期望结果对齐。实验结果显示，MuDiT/MuSiT在性能上优于开源框架，并在与口语歌曲描述的对齐上表现出色。
Read more...探索AI公平性：Ballot框架如何通过创新剪枝技术提升DNN软件的伦理行为
摘要
本文探讨了在软件3.0时代，将大型模型压缩并集成到软件系统中对社会公平性的影响。文章指出，尽管模型压缩技术在减少模型大小和复杂性方面取得了显著进展，但这些技术往往会影响模型的公平性能，从而影响基于深度神经网络（DNN）的软件的伦理行为。特别是，流行的模型剪枝方法——彩票假设（LTH）在选择子网络和训练过程中存在公平性问题。为了解决这一问题，本文提出了一种新的剪枝框架——Ballot，该框架采用基于冲突检测的子网络选择方法，结合改进的训练过程，以找到既准确又公平的子网络，从而提高基于DNN的软件的公平性。通过在五个流行数据集和三个广泛使用的模型上的评估，Ballot在公平性方面比现有基线方法有显著提升。
Read more...探索AI在不同文化背景下的LGBTQ+偏见：ChatGPT与Bard的对比分析
摘要
本文探讨了生成式人工智能（AI）在不同国家和宗教背景下对LGBTQ+群体的偏见问题。研究通过分析ChatGPT 3.5和Google Bard对含有同性恋恐惧症言论的回应，发现ChatGPT的回答表现出文化相对主义，而Bard则强调人权并更多地支持LGBTQ+议题。研究指出，AI系统可能会根据用户背景信息调整其对LGBTQ+人群的支持程度和形式，强调了AI回应的社会和伦理影响，并认为任何旨在使生成式AI输出更具文化多样性的工作都需要基于基本人权。
Read more...Previous Page
83 of 156
Next Page