本文探讨了一种基于物理信息决策变换器（Physics-Informed Decision Transformer, PIDT）的分布系统恢复（Distribution System Restoration, DSR）方法，该方法利用大型语言模型（Large Language Models, LLMs）的强大计算能力来解决传统深度强化学习（Deep Reinforcement Learning, DRL）在处理大规模复杂分布系统恢复问题时的可扩展性挑战。这是首次尝试将基础模型（包括LLMs）应用于电力系统操作中的传统DRL应用，特别是在DSR操作中。论文的主要贡献包括引入了一种新的LLM驱动的PIDT框架，并通过对比研究评估了该框架在解决DSR问题初期的性能。此外，该框架具有优化电力系统中序列决策的广泛应用潜力。
Read more...
本论文探讨了大型语言模型（LLMs）在临床命名实体识别（NER）中的应用，特别是在罕见疾病领域的标记级NER。论文指出，尽管LLMs在多个领域表现出色，但在处理临床文本中的标记级NER时仍面临挑战。研究通过一系列实验，包括零样本提示、少量样本提示、检索增强生成（RAG）和指令微调，评估了LLMs在标记级NER中的有效性，特别是在罕见疾病数据稀缺和专业性强的背景下。研究结果表明，通过适当的微调，本地开源LLMs在特定临床NER任务中可以超越专有模型，显示出在医疗信息学领域的应用潜力。
Read more...
本文是一篇关于扩散模型和表示学习的综述论文，主要探讨了扩散模型和表示学习之间的相互作用。文章介绍了扩散模型的基本方面，包括数学基础、流行的去噪网络架构和引导方法。详细阐述了与扩散模型和表示学习相关的各种方法，包括利用预训练扩散模型学习的表示进行后续识别任务的框架，以及利用表示和自监督学习的进展来增强扩散模型的方法。文章还提出了一个分类法，对当前的方法进行了分类和突出了它们的共性和差异，并得出了通用框架。最后，文章指出了该领域的关键挑战和未来的研究方向。
Read more...
本文介绍了一种名为Mode-switching Graph ODE (MS-GODE)的新型框架，旨在解决在不断学习多个具有不同动态特性的系统时，机器学习模型容易遗忘先前学习动态的问题。MS-GODE通过将系统特定的动态编码为模型参数上的二进制掩码，能够在推理阶段根据观测数据选择最自信的掩码，从而识别系统并预测未来的轨迹。该框架在生物动态系统上进行了系统性的任务配置研究，并与现有技术进行了比较，显示出其优越性。此外，本文还构建了一个新的生物动态系统基准，丰富了动态系统机器学习的研究领域。
Read more...
本文介绍了一种名为CHAIN-OF-KNOWLEDGE的全面框架，旨在将知识推理能力集成到大型语言模型（LLMs）中。该框架包括数据集构建和模型学习的方法。为了构建数据集，作者通过在知识图谱（KGs）上进行规则挖掘创建了KNOWREASON数据集。在模型学习方面，作者观察到简单的训练方法会导致规则过拟合，因此提出了一种试错机制，模拟人类内部知识探索过程，以提高模型的泛化能力。实验结果表明，CHAIN-OF-KNOWLEDGE框架能有效提升LLMs在知识推理和一般推理基准上的表现。
Read more...
本文探讨了在语言模型（LMs）中应用差分隐私（DP）技术对原始文本进行隐私保护处理后，模型对刻板印象关联的影响。研究通过测试BERT模型在包含偏见陈述的文本上进行预训练，发现随着隐私保护程度的加强，刻板印象偏见总体上有所减少，但并非在所有社会领域均匀减少。这强调了在部署隐私保护语言模型时，需要仔细诊断偏见的重要性。
Read more...
本文介绍了《GenderBias-VL: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing》，该研究首次针对大型视觉语言模型（LVLMs）中的职业相关性别偏见进行评估，特别是在个体公平性标准下。研究通过反事实视觉问题构建了GenderBias-VL基准，包含34,581个视觉问题反事实对，覆盖177种职业。该基准不仅评估了15个常用的开源LVLMs和先进的商业API（如GPT-4o和Gemini-Pro），还揭示了这些模型中普遍存在的性别偏见。研究结果表明，LVLMs在处理职业认知任务时存在显著的性别偏见，这些偏见可能源自训练数据中的社会偏见。此外，该研究还提供了一个全面的性别偏见评估数据集、一个最新的LVLMs偏见排行榜，以及对这些模型偏见的细致理解。
Read more...
本文由MSOE的人工智能研究团队领导，与NourishNet合作，提出了一种先进的食品商品价格预测模型，旨在为全球预警系统提供主动的严重状态预测。该研究利用深度学习（DL）技术，结合食品价格指数和金融新闻的情感分析，通过复杂的时序预测模型和分类模型，提高了对食品价格波动的预测准确性。这对于增强全球食品安全性，特别是在风险国家中，具有重要意义。
Read more...
本文探讨了在低资源语言如韩语中进行基于方面的情感分析（ABSA）的挑战。研究提出了一种直观且有效的框架，通过整合翻译的基准数据和未标记的韩语数据来优化预测标签。该框架利用在翻译数据上微调的模型为实际的韩语自然语言推理（NLI）集生成伪标签，并通过LaBSE和MSP（最大软概率）过滤器进行过滤，以增强方面类别检测和极性判断。该模型通过双重过滤，成功地弥合了数据集之间的差距，在资源有限的韩语ABSA中取得了积极成果。此外，该研究还发布了一个新的韩语ABSA数据集和代码，为社区提供了进一步研究和应用的基础。
Read more...