"小模型大智慧：基于DPO的高效记忆对话模型"

Posted on 2024-07-09 in CS.AI • 16 words • 1 minute read

摘要

本文由Youngkyung Seo等人提出，针对多会话对话系统中记忆管理的挑战，介绍了一种基于小规模语言模型（sLLM）的高效且准确的记忆对话模型。该模型利用Direct Preference Optimization（DPO）算法，通过三种方法（SFT、DPO和DPO with SFT）有效地管理记忆，以准确反映对话历史。实验结果显示，该模型在记忆准确性和响应生成性能上均有显著提升，即使在模型规模较小的情况下，也能展现出优于大参数模型的性能。

"强化无线通信安全：混合训练时与运行时防御机制对抗对抗性攻击"

Posted on 2024-07-09 in CS.AI • 9 words • 1 minute read

摘要

本文由Lu Zhang等人撰写，探讨了在调制分类中对抗对抗性攻击的防御机制。文章提出了一种结合训练时和运行时防御技术的混合防御策略，旨在保护基于机器学习的无线信号（调制）分类免受对抗性攻击的影响。训练时防御包括对抗性训练和标签平滑，而运行时防御则采用了基于支持向量机的神经拒绝（NR）。通过在白盒场景和真实数据集上的实验，证明了所提出的技术优于现有的最先进技术。

"微软销售人员的智能助手：细粒度内容推荐系统的前沿探索"

Posted on 2024-07-09 in CS.AI • 19 words • 1 minute read

摘要

本文由微软的研究团队撰写，专注于为微软销售人员（MSX卖家）提供细粒度的大规模内容推荐。在大型软件组织中，销售人员需要维护与大量合作伙伴、客户和利益相关者的关系。微软销售人员使用Microsoft Sellers Experience（MSX）工具来管理这些复杂的关系。本文提出了一种基于语义匹配的内容推荐模型，该模型能够根据特定机会的上下文，从Seismic内容库中推荐最相关的技术文档、产品比较、客户成功故事等，帮助销售人员提高销售效率。该模型通过高效的语义匹配技术，处理大量机会与内容组合，确保为每个机会推荐最相关的5个内容。此外，文章还介绍了如何通过人工领域专家和“LLM作为评判”框架来评估推荐质量。

"智能决策新纪元：大型语言模型在复杂场景模拟中的应用"

Posted on 2024-07-09 in CS.AI • 8 words • 1 minute read

摘要

本文探讨了大型语言模型（LLMs）在复杂决策场景中的应用，特别是在需要多选项和预测不同选择后果的情景中。论文提出了一种创新方法，通过允许LLMs从用户那里获取多个潜在选项及其参数，并结合优化函数进行决策分析，从而模拟潜在结果并确定最优解决方案。这种方法不仅扩展了LLMs的功能范围，还为更自主和智能的决策支持系统铺平了道路。

"构建信任与韧性：基于智能合约的去中心化联邦学习系统"

Posted on 2024-07-09 in CS.AI • 18 words • 1 minute read

摘要

本文介绍了一种基于智能合约和去中心化系统的联邦学习（Federated Learning, FL）系统，旨在增强系统的信任和可靠性。该系统通过使用去中心化架构，特别是Inter-Planetary File System (IPFS)和智能合约，确保模型参数的安全上传和更新。研究通过实验验证了该系统的可行性，特别是在处理节点故障和不同聚合方法（如FedAvg和FedProx）时的性能。

"混合智能：教育领域中教师与生成式AI的协同创新"

Posted on 2024-07-09 in CS.AI • 10 words • 1 minute read

摘要

本文探讨了生成式人工智能（genAI）在教育领域中的应用及其对教师专业自主权（agency）的影响。文章指出，尽管genAI在支持学习设计等活动中具有潜力，但其集成可能会限制教师在行动、影响、决策和立场方面的能力。为了解决这一问题，论文提出了一种混合智能（Hybrid Intelligence, HI）方法，旨在通过结合人类智能和人工智能来增强教师在教育设计中的自主权。文章强调了教育技术设计中应同时考虑教师和学习者的需求，以及如何通过HI方法实现更有效的教育技术集成。

"确保航空航天控制的安全与可靠：深度强化学习的新进展"

Posted on 2024-07-09 in CS.AI • 8 words • 1 minute read

摘要

本文由斯坦福大学、耶路撒冷希伯来大学、哥本哈根信息技术大学、谷歌和GE航空研究等机构的专家共同撰写，探讨了深度强化学习（DRL）在航空航天控制系统中的应用及其安全性和可靠性问题。文章提出了一种新颖的设计-验证方法，通过k-归纳法和神经李亚普诺夫屏障证书来确保DRL控制器的正确性，并展示了这些方法在卫星控制模型中的应用。此外，文章还介绍了其他基于可达性的验证方法，并讨论了它们在实际应用中的局限性和潜在价值。

“ConceptExpress：单图像无监督概念提取的革命性突破”

Posted on 2024-07-09 in CS.AI • 20 words • 1 minute read

摘要

本文介绍了一种名为“ConceptExpress”的新型任务——无监督概念提取（Unsupervised Concept Extraction, UCE），旨在利用预训练的扩散模型从单张图像中自动提取多个概念，无需任何人类知识。该任务的核心挑战在于如何在没有任何先验知识的情况下，从包含多个概念的图像中提取并重现这些概念。ConceptExpress通过利用预训练扩散模型的内在能力，提出了一种概念定位方法和概念令牌学习过程，以自动定位和分离图像中的显著概念，并学习代表每个独立概念的判别性令牌。此外，本文还建立了一个针对UCE任务的评估协议，并通过广泛的实验证明了ConceptExpress在UCE任务中的有效性和前景。

“CUE-DETR：利用对象检测技术革新DJ混音的提示点估计”

Posted on 2024-07-09 in CS.AI • 18 words • 1 minute read

摘要

本文由Giulia Argüello、Luca A. Lanzendörfer和Roger Wattenhofer三位作者共同撰写，题为“CUE POINT ESTIMATION USING OBJECT DETECTION”，探讨了在DJ混音中自动估计提示点（cue points）的新方法。提示点在音乐过渡中指示可能的时间边界，对自主DJ系统和现场混音至关重要。本文提出的解决方案将提示点估计视为计算机视觉中的对象检测任务，基于预训练的对象检测变换器（DETR）进行微调，并使用了一个新的大型提示点数据集EDM-CUE，该数据集包含21k手动注释的提示点，比先前的数据集大35倍。该方法无需低级音乐信息分析，且在提示点位置检索中显示出更高的精度，并能高度符合电子舞曲中的高级音乐结构（phrasing）。

“Lookback Lens：利用注意力映射检测和缓解大型语言模型中的上下文幻觉”

Posted on 2024-07-09 in CS.AI • 28 words • 1 minute read

摘要

本文介绍了一种名为“Lookback Lens”的新方法，用于检测和缓解大型语言模型（LLMs）中的上下文幻觉问题。上下文幻觉是指LLMs在总结文章或回答问题时，生成与输入上下文不符的错误信息。Lookback Lens通过分析LLMs的注意力权重，特别是关注模型在生成新内容时对上下文信息的依赖程度，来识别这些幻觉。该方法的核心是一个基于注意力权重比率的线性分类器，能够有效地跨任务和模型进行迁移，无需重新训练。此外，Lookback Lens还被用于指导解码过程，以减少幻觉的产生，例如在XSum总结任务中减少了9.6%的幻觉。

Previous Page 35 of 156 Next Page