摘要

本文探讨了大型语言模型（LLM）如ChatGPT在社会计算任务中作为数据标注工具的潜力，旨在减少网络研究的复杂性和成本。研究通过重新标注七个涵盖COVID-19错误信息、社交机器人欺骗、网络欺凌、点击诱饵新闻和俄乌战争等紧迫社会问题的数据集，评估了ChatGPT的标注能力。结果显示，ChatGPT在数据标注任务中表现出色，平均标注F1分数达到72.00%，尤其在点击诱饵新闻标注中正确率高达89.66%。然而，不同标签间的性能存在显著差异。为此，研究提出了GPT-Rater工具，用于预测ChatGPT在特定标注任务中的表现，该工具在点击诱饵新闻数据集上的平均F1分数达到95.00%，显示出其在辅助研究人员评估ChatGPT标注适用性方面的潜力。

摘要

本文主要探讨了深度神经网络（DNNs）如何通过组合性和对称性学习打破维度诅咒的问题。作者提出了一种新的理论，通过结合覆盖数论证和F1范数（或相关的Barron范数），推导出了DNNs的泛化界。该理论表明，DNNs可以有效地学习任何具有有界F1范数的函数组合，从而在某些情况下避免维度诅咒。此外，作者还通过实验验证了该理论的有效性，并展示了DNNs在学习对称性和处理高维数据方面的优势。

摘要

本文介绍了一种名为E2CFD的新型成本函数设计框架，旨在通过大型语言模型（LLM）实现安全和高效的强化学习。现有的安全强化学习算法主要针对特定类型的安全需求场景设计，缺乏通用性，且其优化目标与任务需求不一致。E2CFD框架利用LLM理解多种安全场景并生成相应的成本函数，结合快速性能评估（FPE）方法，实现成本函数的快速迭代更新。实验证明，使用该框架训练的策略性能优于传统的安全强化学习算法和精心设计的成本函数训练的策略。

摘要

本文介绍了一种名为FedMRL的新型联邦多智能体深度强化学习框架，旨在解决医疗影像诊断中联邦学习（FL）面临的数据异质性问题。FedMRL通过引入一种新颖的损失函数来促进客户端之间的公平性，并使用多智能体强化学习（MARL）方法计算个性化局部目标函数的近端项（µ），确保收敛到全局最优。此外，FedMRL在服务器端采用自组织映射（SOM）进行自适应权重调整，以应对客户端本地数据分布的偏移。实验结果表明，FedMRL在处理高度异质性数据时显著优于现有技术，显示出在联邦学习中处理数据异质性的有效性。

摘要

本文介绍了一种名为GenFollower的新型车辆跟随行为预测模型，该模型利用大型语言模型（LLMs）来提高交通管理和自动驾驶系统中的车辆跟随行为的预测准确性和可解释性。传统的车辆跟随模型通常受限于数据质量敏感性和缺乏解释性。GenFollower通过将车辆跟随行为重新构建为语言建模问题，并利用LLMs的零样本提示方法，实现了对车辆跟随行为的改进预测和解释。实验结果表明，GenFollower在Waymo Open数据集上的表现优于传统基准模型，并能提供可解释的预测结果，这对于增强交通管理和自动驾驶系统的理解和信任具有重要意义。

摘要

本文介绍了一种名为Graph-Rewiring Attention with Stochastic Structures (GRASS)的新型图神经网络架构，该架构结合了消息传递、图重构和图变换器的优势。GRASS通过叠加一个随机规则图来重构输入图，增强了长距离信息传播，同时保留了输入图的结构特征。此外，GRASS采用了一种专为图结构数据设计的独特加性注意力机制，提供了图归纳偏置，同时保持了计算效率。实验证明，GRASS在多个基准数据集上达到了最先进的性能，确认了其实际效能。

摘要

本文介绍了一种名为Hybrid X-Linker的自动化数据生成和极端多标签排序方法，用于生物医学实体链接。该方法通过自动生成大规模训练数据集，解决了传统深度学习实体链接方法依赖大量人工标注数据的成本问题。Hybrid X-Linker结合了疾病和化学实体提及与MEDIC和CTD-Chemical词汇表的链接，通过在多个生物医学数据集上的评估，实现了高达0.9511的顶级准确率。该方法不仅提高了实体链接的性能，还通过公开源代码，使得生物医学实体链接无需预先标注的实体标识符成为可能。

摘要

本文探讨了如何通过从自身生成数据而非依赖于强大的闭源大型语言模型（如GPT-3.5和GPT-4）来进一步改进指令调优的代码大型语言模型（LLMs）。文章提出了INVERSE-INSTRUCT方法，该方法通过代码片段总结指令而非反向操作，具体是通过代码LLM生成原始语料库的高质量指令并通过代码总结和自我评估进行微调，从而产生更强大的指令调优LLM。实验结果显示，名为InverseCoder的一系列代码LLMs在多个基准测试中超越了原始代码LLMs的性能。

摘要

本文介绍了一种基于大型语言模型（LLM）的开放领域集成任务和知识助手框架KITA。KITA旨在通过可编程策略创建能够处理复杂用户交互的任务导向对话代理。与传统的对话树相比，KITA提供了更可靠的基于事实的响应，并通过其表达性规范KITA Worksheet实现代理策略的可控性。通过62名参与者的实际用户研究，KITA在执行准确性、对话行为准确性和目标完成率方面分别比GPT-4的函数调用基线高出26.1、22.5和52.4分。此外，文章还发布了22个经过手动校正以确保准确性的真实用户对话。

摘要

本文提出了一种名为 LLaMAX 的方法，通过大规模多语言持续预训练来增强非英语语言的翻译能力。该方法解决了低资源语言翻译中数据不足的问题，提高了翻译性能，并且在多种语言上表现出色。

<工作原理> LLaMAX 的工作原理主要包括两个关键技术：词汇扩展和数据增强。

1. 词汇扩展：通过添加特定语言的标记来扩展词汇表，提高模型对多语言的表示能力。
2. 数据增强：利用字典进行数据增强，选择与目标语言实体数量相关的字典，提高翻译性能。

<工作流程>

1. 收集和构建大量的多语言数据，包括单语数据和并行数据。
2. 进行词汇扩展，添加特定语言的标记。
3. 利用数据增强技术，使用平行数据和字典进行增强。
4. 使用增强后的数据进行大规模多语言持续预训练。
5. 在预训练的基础上，进行指令微调，提高模型的指令遵循能力。

<应用前景> LLaMAX 可以应用于多种场景，如机器翻译、跨语言问答、文本生成等。它为多语言处理提供了更强大的工具，有助于打破语言障碍，促进跨语言交流和合作。

<标题> LLaMAX：突破语言界限，开启多语言智能新时代