本文提出了一种名为Zero-X的创新安全框架，旨在检测互联网车辆（IoV）环境中的零日（0-day）和N日（N-day）攻击。该框架结合了深度神经网络与开放集识别（OSR）技术，并利用区块链技术实现可信和去中心化的联邦学习（FL）。Zero-X框架不仅优先考虑隐私保护，还允许连接和自动化车辆（CAVs）以及安全运营中心（SOCs）在保护敏感数据隐私的同时贡献其独特知识。实验结果表明，该框架在两个最新的网络流量数据集上实现了高检测率，同时最小化了误报率。与现有解决方案相比，Zero-X框架表现更优。
Read more...
本文由北京人工智能研究院和中国电信人工智能研究院等机构的研究人员共同撰写，探讨了大型语言模型（LLMs）的发展，特别是从52亿参数到1万亿参数模型的训练和优化策略。论文首先讨论了在Tele-FLM-52B模型上进行的监督微调（SFT）实验，验证了“少即是多”的数据构建方法的有效性。接着，论文展示了如何逐步将模型从52亿参数扩展到1万亿参数的最佳实践，并计划开源1万亿参数的模型检查点Tele-FLM-1T，以推动进一步的研究和模型训练。
Read more...
本文探讨了自然语言到代码生成（NL2CodeGen）在特定领域语言（DSL）中的应用，特别是在处理大量自定义函数名称时的问题。传统的自然语言处理模型（如大型语言模型LLMs）在处理DSL时经常出现幻觉和语法错误。为了解决这些问题，本文提出了一种优化检索增强生成（RAG）的方法，并与传统的微调方法进行了比较。研究结果显示，优化后的RAG模型在代码相似度指标上与微调模型相当，并在处理新未见API时具有优势。
Read more...
本文提出了一种基于数据驱动的轨迹聚类方法，用于从大量观测数据中推断出真实场景中可能存在的行为，以获取不同类型的轨迹。该方法考虑了汽车、行人和自行车等不同类型的弱势道路使用者（VRU），并能够在不使用地图信息的情况下，从原始数据中提取出定义明确的轨迹类别，同时将“异常”或不完整的轨迹与完整且具有代表性的轨迹区分开来。本文在三个不同的交叉口和一个环形交叉口环境中测试了所提出的方法，结果表明，所得到的轨迹簇可以用于预测或学习任务，或者在包含异常值时被丢弃。
Read more...
本文探讨了在无线边缘部署联邦学习（FEEL）时面临的资源分配和数据选择问题。由于FEEL系统中通信资源有限且设备上的数据可能存在标签错误，不当的资源分配或数据选择会损害收敛速度并增加训练成本。因此，本文强调联合优化资源分配和数据选择，以实现高效的FEEL系统。通过严格建模训练过程并推导FEEL一轮收敛率的上界，本文建立了一个联合资源分配和数据选择的问题，并通过变量替换将其转化为可解形式，进而分解为两个子问题：资源分配问题和数据选择问题。基于匹配理论和凸-凹过程及梯度投影方法，本文设计了一个低复杂度的次优算法来解决这两个子问题。最后，通过数值结果验证了所提出方案的优越性。
Read more...
本文是对图学习理论基础和前沿的综述，旨在为理解和分析具有复杂结构的数据提供全面的理论指导。文章涵盖了图学习的基本方法、表达能力、泛化能力、优化方法等方面，并探讨了图神经网络在长程和高阶交互方面的问题。此外，文章还介绍了图学习的应用领域和未来研究方向。
Read more...
这篇论文探讨了如何评估自然语言处理（NLP）模型解释的实用性，以促进人类-AI 决策。文章指出，尽管解释性方法已通过概念验证测试，但在 NLP 中，以人类为中心、基于应用的解释评估仍然不足。文章提出了评估解释的要求和数据集选择标准，通过对 50 多个数据集的分析，发现只有 4 个数据集符合要求。文章还介绍了如何通过微调 Flan-T5-3B 模型来重新评估最先进的技术，并通过实例研究了人类-AI 决策在验证法律声明任务中的应用。研究结果表明，成功的推迟是推进人类-AI 团队的一个有前途的方向。
Read more...
本文探讨了利用蛋白质语言模型（PLMs）和强化学习（RL）进行蛋白质序列设计的有效性。蛋白质序列设计在药物发现中至关重要，传统方法如进化策略或蒙特卡洛方法未能充分利用组合搜索空间的结构，难以泛化到未见序列。本文提出了一种新的方法，使用PLMs作为奖励函数来生成新的蛋白质序列，同时解决了PLMs计算成本高的问题，通过引入一个周期性微调的小型代理模型来优化得分，从而减少计算负担。实验结果表明，RL方法在生物学合理性和序列多样性方面表现出色，证明了其在生物序列设计中的潜力。此外，本文还提供了一个模块化的开源实现，支持替换奖励模型，以促进该领域的进一步研究。
Read more...
本文探讨了如何利用拓扑数据分析（TDA）、人工智能（AI）和社会媒体数据来预测社会趋势，灵感来源于艾萨克·阿西莫夫的科幻科学概念——心理史学。文章通过分析社会媒体作为集体人类行为的反射面，提出了一种结合计算能力和数学框架的方法，特别是通过TDA和AI，来预测大规模社会行为。这种方法不仅与阿西莫夫的愿景对话，还展示了现代计算技术如何揭示社会行为的模式和预测转变，为数字社会学甚至心理史学的新兴领域做出贡献。
Read more...
本文探讨了生成式AI与人类艺术创作过程的交叉领域，特别是自动歌曲创作中的人机对齐问题。研究提出了一项新的任务——口语描述到歌曲生成，旨在使生成的内容与人类的口语表达对齐。该任务要求AI模型不仅理解口语语言，还要在听觉表达上与人类期望相符，并符合音乐结构规范。为解决数据稀缺问题，研究团队创建了CaiMD数据集，该数据集由专业音乐家和业余爱好者共同标注，提供了多样化的视角和全面的口语描述理解。此外，研究还提出了一种创新的单阶段框架MuDiT/MuSiT，用于实现歌曲创作中的人机对齐，确保生成的歌曲与用户的期望结果对齐。实验结果显示，MuDiT/MuSiT在性能上优于开源框架，并在与口语歌曲描述的对齐上表现出色。
Read more...