动态少样本学习：革新知识图谱问答的新方法

Posted on 2024-07-01 in CS.AI • 15 words • 1 minute read

摘要

本文介绍了一种名为动态少样本学习（DFSL）的新方法，用于知识图谱问答（KGQA）。DFSL结合了上下文学习的效率和语义相似性，为KGQA提供了一种普遍适用的解决方案，并在多个基准数据集上实现了最先进的性能。论文通过广泛的评估和消融研究，探讨了超参数、骨干模型、嵌入方法、答案选择策略以及实体和关系信息的影响。

合同强化学习：用“看不见的手”引导代理人

Posted on 2024-07-01 in CS.AI • 12 words • 1 minute read

摘要

本文探讨了在大规模机器学习任务中，如何通过合同设计来调整不同利益相关者的经济利益。文章引入了合同强化学习（RL）问题，在委托代理马尔可夫决策过程（PAMDP）中，通过设计合同政策来激励代理人采取有利于委托人的行动。文章提供了一个全面的解决方案框架，通过动态规划算法和无遗憾学习算法，解决了合同强化学习中的独特学习和计算挑战。

团队贡献公平评估：成对比较方法的新应用

Posted on 2024-07-01 in CS.AI • 11 words • 1 minute read

摘要

本文探讨了在团队合作项目中，如何通过成对比较方法评估和分配每个成员的贡献比例。特别是在撰写合作研究论文等项目结束后，确定每个作者的贡献比例并据此分配奖励是一个常见但复杂的问题。文章提出了一种模型，该模型通过整合专家意见，将专家的偏好优先级与其评估直接关联，从而在团队成员中寻找共识。这种方法不仅适用于科学论文的贡献评估，还可扩展到其他团队成就的奖励分配，如资助项目、组织项目或IT公司的软件项目。

大型语言模型与知识表示学习的融合：技术进展与应用前景

Posted on 2024-07-01 in CS.AI • 16 words • 1 minute read

摘要

本文综述了大型语言模型（LLMs）与知识表示学习（KRL）的融合，这一融合标志着人工智能领域的重要进步。LLMs如BERT和LLaMA通过预训练在大型语料库上，展现出强大的自然语言处理能力，包括问答、文本生成和文档理解。KRL则是一种流行的显式知识表示方法，通过与基于Transformer的LLMs结合，包括预训练的掩码语言模型（如BERT和RoBERTa）和生成型LLMs（如GPT系列和LLaMA），可以显著提高知识图谱表示学习的准确性、适应性和效率。本文通过分类基于Transformer架构的三种方法——基于编码器、编码器-解码器和基于解码器的方法，详细分析了这些增强模型的基本组件和过程，并通过各种KRL下游任务的实验数据评估了每种方法的优缺点。最后，本文探讨了这一新兴但未充分探索领域的潜在未来研究方向，提出了持续进步的路径。

实时自适应控制：神经算子在反应-扩散PDE中的应用

Posted on 2024-07-01 in CS.AI • 13 words • 1 minute read

摘要

本文介绍了一种基于神经算子近似增益核的自适应控制方法，用于处理具有空间变化和未知反应系数的反应-扩散偏微分方程（PDE）。该方法通过神经算子近似增益核，实现了实时控制器的实施，并在自适应控制中显示出显著优势，因为增益核PDE解需要在线计算，每次更新估计的植物系数。文章证明了系统的全局稳定性和渐近调节性，并通过模拟验证了理论结果，实现了相对于传统有限差分解算器的计算速度提升。

嵌入式提示微调：提升预训练模型在医学图像分析中的校准能力

Posted on 2024-07-01 in CS.AI • 13 words • 1 minute read

摘要

本文探讨了在医学图像分析领域中，预训练基础模型在跨域少样本场景下的参数高效微调（PEFT）方法的有效性。针对主流提示微调方法在Transformer架构上的局限性，提出了一种新的嵌入式提示微调（EPT）方法，通过将提示标记嵌入到扩展通道中，以优化输入标记并保持原始信息。实验结果显示，EPT在少样本医学图像分类任务中显著优于现有微调方法，并能在竞争性的时间内完成微调过程。此外，本文还提出了提示微调作为分布校准器的全新视角，并通过分析EPT中的补丁级缩放和特征分离操作来支持这一观点。

探索DISCOVERYBENCH：大型语言模型在数据驱动发现中的前沿应用

Posted on 2024-07-01 in CS.AI • 34 words • 1 minute read

摘要

DISCOVERYBENCH 是一个全新的综合基准测试，旨在评估大型语言模型（LLMs）在从提供的多个数据集中自动搜索和验证假设的能力。该基准测试包含264个任务，涵盖社会学和工程学等六个不同领域，通过手动从已发表的论文中提取发现工作流程，模拟研究人员在现实世界中面临的挑战。此外，还提供了903个合成任务，用于在任务复杂性方面进行受控评估。DISCOVERYBENCH 的结构化形式主义支持基于方面的评估，提供有关不同失败模式的有用见解。通过对几种流行的基于LLM的推理框架进行评估，发现即使是最佳系统得分也仅为25%，这表明在自主数据驱动发现方面存在挑战，并作为社区进步的有价值资源。

探索Kolmogorov-Arnold卷积网络在计算机视觉中的先进应用与设计原则

Posted on 2024-07-01 in CS.AI • 20 words • 1 minute read

摘要

本文探讨了Kolmogorov-Arnold Networks (KANs)在计算机视觉领域的应用，特别是其卷积版本的实现。文章提出了一种参数高效的Kolmogorov-Arnold卷积层设计，并介绍了针对预训练KAN模型的参数高效微调算法。此外，还提出了基于Kolmogorov-Arnold卷积层的自注意力和焦点调制层。通过在多个数据集上的实验，包括MNIST、CIFAR10、CIFAR100、Tiny ImageNet、ImageNet1k和HAM10000，文章展示了KAN卷积模型在图像分类任务中的优越性能。同时，文章还探索了分割任务，提出了一种基于KAN卷积的U-Net类架构，并在多个生物医学数据集上取得了最先进的结果。文章总结了KAN卷积模型的初步设计指南，并探讨了KANs的正则化技术。所有实验代码和预训练模型均在GitHub上公开。

探索NLPGuard：一种减少NLP分类器偏见的新框架

Posted on 2024-07-01 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为NLPGuard的框架，旨在减少自然语言处理（NLP）分类器对受保护属性的依赖。随着深度学习在NLP模型中的广泛应用，这些模型往往作为黑箱系统运行，难以检测和纠正对敏感属性（如性别、种族或性取向）的误用。传统的偏见缓解方法主要关注在不同群体间实现性能平衡，但未能解决模型对受保护属性的依赖问题。NLPGuard框架通过处理未标记数据集、现有NLP分类器及其训练数据，生成一个修改后的训练数据集，显著减少了对受保护属性的依赖，同时不牺牲准确性。该框架在三个分类任务中进行了评估：识别有毒语言、情感分析和职业分类，结果显示NLPGuard有效地减少了模型对受保护属性的依赖，同时略微提高了准确性。

探索ProductAgent：通过对话澄清实现精准电子商务产品搜索

Posted on 2024-07-01 in CS.AI • 14 words • 1 minute read

摘要

本文介绍了一种在电子商务场景中的产品需求澄清任务，用户以模糊查询开始对话，而任务导向的代理通过提出澄清问题来实现更准确和定制化的产品搜索。为了解决这一任务，我们提出了ProductAgent，一个配备有策略性澄清问题生成和动态产品检索能力的对话信息寻求代理。具体来说，我们开发了代理，使其具备产品特征总结、查询生成和产品检索的策略。此外，我们提出了名为PROCRARE的基准，通过LLM驱动的用户模拟器自动和定性地评估代理的性能。实验表明，ProductAgent与用户积极互动，并随着对话轮次的增加，用户需求逐渐变得更加明确和详细，从而提高了检索性能。

Previous Page 106 of 156 Next Page