本文探讨了合成数据对大型语言模型（LLMs）的影响，特别是如何通过精炼数据影响其他LLMs。研究系统地分析了合成数据源如何塑造模型的内部偏见、校准和生成文本的属性及偏好。研究发现，即使合成数据提示看似“中性”，模型对某些属性仍异常敏感，这引发了一个问题：是否可以利用数据生成过程在测试时明确引导模型向我们想要的属性发展？本文提出了“主动继承”这一概念，描述了如何根据非可微目标有意限制合成数据，以引导模型生成具有高词汇多样性或低毒性的文本。
Read more...
本文由Cheng Su等人提出，针对快速发展的医疗领域中安全和有效的数据管理及共享问题，介绍了一种基于扩散理论的混合检索增强生成（RAG）多模态大型语言模型（MLLM）框架。该框架通过分层跨链架构确保医疗数据的安全训练，并利用多模态指标筛选和整合检索结果，以提高MLLM的输出质量。此外，文章还引入了信息年龄（AoI）来间接评估数据新鲜度，并运用合同理论激励医疗数据持有者分享新鲜数据，以缓解数据共享中的信息不对称问题。最终，通过基于生成扩散模型（GDM）的强化学习算法，确定最优合同以实现高效的数据共享。数值结果显示，所提出的方案在实现安全和高效的医疗数据管理方面表现出色。
Read more...
本文介绍了一种结合混合元启发式算法和机器学习模型的方法，用于优化PM2.5预测的准确性。研究聚焦于使用支持向量回归（SVR）模型，通过粒子群优化（PSO）和灰狼优化（GWO）算法来优化SVR的超参数“C”和“Gamma”，以提高预测精度。评估指标包括R-squared（R2）、均方根误差（RMSE）和平均绝对误差（MAE）。结果显示，PSO-SVR和GWO-SVR模型在预测PM2.5浓度方面表现出色，具有广泛的应用前景。
Read more...
本文探讨了在双说话者场景中，如何通过在端到端神经说话者细分系统中融入说话者信息嵌入来增强说话者区分能力，同时保持其处理语音重叠的优势。研究提出多种方法将这些嵌入与声学特征结合，并深入分析了沉默帧的正确处理、提取说话者嵌入的窗口长度以及变换器编码器大小等关键参数。实验在CallHome数据集上进行，结果显示相较于基准端到端模型，细分错误率显著降低，实现了10.78%的相对改进。
Read more...
本文探讨了在数据稀缺情况下，使用可解释人工智能（XAI）增强方法进行二元分类的问题。在临床实践中，即时超声（POCUS）设备的普及为快速诊断提供了可能，但图像解读需要专业训练，这在紧急情况下可能不可行。因此，开发能够从有限数据中学习的机器学习分类器变得尤为重要。本文提出了一种新的方法，利用Gradient SHAP（一种可解释人工智能技术）来增强分类器的学习能力，从而在数据稀缺的情况下提高分类准确性。研究结果表明，该方法在多个医学数据集上显著减少了过拟合现象，提高了分类性能。
Read more...
本文探讨了如何通过使用适配器（adapters）将来自语言本体的图知识整合到多语言大型语言模型（LLMs）中，以提高低资源语言（LRLs）在情感分析（SA）和命名实体识别（NER）任务中的性能。研究基于成功的参数高效微调技术，如K-ADAPTER和MAD-X，提出了一种类似的方法，将多语言图中的知识通过语言关系连接到多语言LLMs中，特别是针对八种低资源语言：马耳他语、保加利亚语、印度尼西亚语、尼泊尔语、爪哇语、维吾尔语、藏语和僧伽罗语。通过在从ConceptNet中提取的语言特定数据上微调语言特定适配器，旨在实现知识在覆盖知识图的语言之间的转移。研究比较了不同的微调目标，包括标准掩码语言建模（MLM）、全词掩码MLM和目标掩码MLM，以分析它们在学习和对提取的图数据进行整合的有效性。通过在语言特定任务上的实证评估，研究评估了结构化图知识如何影响多语言LLMs在LRLs中的SA和NER性能，提供了关于适应语言模型以应对低资源场景潜在好处的见解。
Read more...
本文探讨了多模态大语言模型（LLMs）在上下文学习（ICL）中的表现，特别是在提供图像-文本对作为演示时。研究通过系统评估不同规模模型的多模态ICL能力，揭示了模态在不同任务中的不同重要性，并提出了基于模态的演示选择策略以提升ICL性能。此外，研究还发现，通过文本相似性选择的演示有助于模型捕捉任务的归纳偏差，即使在未见过的或与预训练数据相矛盾的任务中也能有效提升性能。
Read more...
本文探讨了志愿者边缘云（VEC）环境中数据密集型科学工作流的调度问题。由于VEC资源的分布性和异构性，传统的集中式任务调度面临挑战。论文提出了一种基于强化学习（RL）的数据密集型科学工作流调度方法，该方法考虑了工作流需求、VEC资源对工作流的偏好以及多样化的VEC资源政策，以确保稳健的资源分配。通过将长期平均性能优化问题建模为马尔可夫决策过程（MDP），并采用基于事件的异步优势行动者-评论家（A3C）RL方法求解，论文展示了其在满足工作流需求、VEC偏好和资源利用方面的优势。
Read more...
本文探讨了大型语言模型（LLMs）在创意文本写作方面与世界级小说家相比的挑战。研究通过一场由著名小说家Patricio Pron和顶级LLM GPT-4参与的创意写作比赛，评估了LLMs在创意写作任务中的表现。结果显示，尽管LLMs在某些语言任务中表现出色，但在创意写作方面仍远未达到顶尖人类作家的水平。研究还探讨了提示（prompt）对生成文本创造性的影响，并发现由小说家提供的标题能显著提升GPT-4的写作质量。此外，研究还分析了LLMs在不同语言（英语和西班牙语）中的表现差异，并探讨了使用Boden的创造性框架评估AI生成文本的有效性。
Read more...
本文由Xiang Jiao等人撰写，探讨了边缘设备协同推理任务中的空中计算（AirComp）技术，旨在通过平衡分类准确性来提高边缘设备与边缘服务器之间的合作效率。文章提出了一种面向任务的空中计算方案，通过最大化最小成对判别增益来优化分类任务的推理准确性。该方法不仅改善了传统平均判别增益指标导致的分类不平衡问题，还通过联合优化所有特征元素的判别增益，实现了更高效的传输功率分配。实验部分通过人体运动识别的具体案例，验证了所提方案相对于基准方案的优越性。
Read more...