本文是一篇关于扩散模型和表示学习的综述论文，主要探讨了扩散模型和表示学习之间的相互作用。文章介绍了扩散模型的基本方面，包括数学基础、流行的去噪网络架构和引导方法。详细阐述了与扩散模型和表示学习相关的各种方法，包括利用预训练扩散模型学习的表示进行后续识别任务的框架，以及利用表示和自监督学习的进展来增强扩散模型的方法。文章还提出了一个分类法，对当前的方法进行了分类和突出了它们的共性和差异，并得出了通用框架。最后，文章指出了该领域的关键挑战和未来的研究方向。
Read more...
本文介绍了一种名为Mode-switching Graph ODE (MS-GODE)的新型框架，旨在解决在不断学习多个具有不同动态特性的系统时，机器学习模型容易遗忘先前学习动态的问题。MS-GODE通过将系统特定的动态编码为模型参数上的二进制掩码，能够在推理阶段根据观测数据选择最自信的掩码，从而识别系统并预测未来的轨迹。该框架在生物动态系统上进行了系统性的任务配置研究，并与现有技术进行了比较，显示出其优越性。此外，本文还构建了一个新的生物动态系统基准，丰富了动态系统机器学习的研究领域。
Read more...
本文介绍了一种名为CHAIN-OF-KNOWLEDGE的全面框架，旨在将知识推理能力集成到大型语言模型（LLMs）中。该框架包括数据集构建和模型学习的方法。为了构建数据集，作者通过在知识图谱（KGs）上进行规则挖掘创建了KNOWREASON数据集。在模型学习方面，作者观察到简单的训练方法会导致规则过拟合，因此提出了一种试错机制，模拟人类内部知识探索过程，以提高模型的泛化能力。实验结果表明，CHAIN-OF-KNOWLEDGE框架能有效提升LLMs在知识推理和一般推理基准上的表现。
Read more...
本文探讨了在语言模型（LMs）中应用差分隐私（DP）技术对原始文本进行隐私保护处理后，模型对刻板印象关联的影响。研究通过测试BERT模型在包含偏见陈述的文本上进行预训练，发现随着隐私保护程度的加强，刻板印象偏见总体上有所减少，但并非在所有社会领域均匀减少。这强调了在部署隐私保护语言模型时，需要仔细诊断偏见的重要性。
Read more...
本文介绍了《GenderBias-VL: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing》，该研究首次针对大型视觉语言模型（LVLMs）中的职业相关性别偏见进行评估，特别是在个体公平性标准下。研究通过反事实视觉问题构建了GenderBias-VL基准，包含34,581个视觉问题反事实对，覆盖177种职业。该基准不仅评估了15个常用的开源LVLMs和先进的商业API（如GPT-4o和Gemini-Pro），还揭示了这些模型中普遍存在的性别偏见。研究结果表明，LVLMs在处理职业认知任务时存在显著的性别偏见，这些偏见可能源自训练数据中的社会偏见。此外，该研究还提供了一个全面的性别偏见评估数据集、一个最新的LVLMs偏见排行榜，以及对这些模型偏见的细致理解。
Read more...
本文由MSOE的人工智能研究团队领导，与NourishNet合作，提出了一种先进的食品商品价格预测模型，旨在为全球预警系统提供主动的严重状态预测。该研究利用深度学习（DL）技术，结合食品价格指数和金融新闻的情感分析，通过复杂的时序预测模型和分类模型，提高了对食品价格波动的预测准确性。这对于增强全球食品安全性，特别是在风险国家中，具有重要意义。
Read more...
本文探讨了在低资源语言如韩语中进行基于方面的情感分析（ABSA）的挑战。研究提出了一种直观且有效的框架，通过整合翻译的基准数据和未标记的韩语数据来优化预测标签。该框架利用在翻译数据上微调的模型为实际的韩语自然语言推理（NLI）集生成伪标签，并通过LaBSE和MSP（最大软概率）过滤器进行过滤，以增强方面类别检测和极性判断。该模型通过双重过滤，成功地弥合了数据集之间的差距，在资源有限的韩语ABSA中取得了积极成果。此外，该研究还发布了一个新的韩语ABSA数据集和代码，为社区提供了进一步研究和应用的基础。
Read more...
本文探讨了在关系图学习中，传统的暴力扩展训练数据集和可学习参数的策略（即缩放法则）并不总是能产生更强大的模型，主要原因在于架构不兼容和表示瓶颈。为了解决这一挑战，作者提出了一种新颖的框架——知识感知简约学习（Knowledge-Aware Parsimony Learning），该框架从关系图中提取知识（如符号逻辑和物理定律），并通过组合泛化应用于具体任务，从而实现多功能、样本高效和可解释的学习。实验结果表明，该框架在多个任务上超越了传统缩放方法，强调了在开发下一代学习技术时整合知识的重要性。
Read more...
本文探讨了使用基于大型语言模型（LLM）的系统来回答现实世界临床问题的方法。文章指出，尽管通用LLM在处理医疗领域的自然语言查询方面表现出色，但它们在提供相关和基于证据的答案方面存在局限性。相比之下，采用检索增强生成（RAG）和代理型LLM系统在回答临床问题时表现出更高的相关性和证据基础性。特别是代理型ChatRWD系统，它能够回答新颖的问题，为临床决策提供了新的证据生成途径。文章强调，虽然通用LLM不应直接用于临床决策，但专门构建的文献检索系统和代理型系统相结合，可以显著提高相关证据的可获得性，从而支持证据基础的医疗实践。
Read more...