"通过欺骗保护隐私：一种新的强化学习规划算法"

Posted on 2024-07-13 in CS.AI • 8 words • 1 minute read

摘要

本文探讨了在马尔可夫决策过程（MDPs）中通过欺骗手段保护奖励函数隐私的问题。在许多物理和网络安全领域，当决策可被观察时，保护顺序决策代理的偏好（或奖励）隐私至关重要。例如，在野生动物监测中，代理必须分配巡逻资源，同时不向偷猎者透露动物位置。本文提出了一种基于欺骗理论的新方法，通过两个模型：伪装（隐藏真相）和模拟（展示错误）来解决奖励函数隐私保护问题。首先，本文理论上证明了现有基于伪装的隐私保护方法存在显著隐私泄露。其次，提出了一种新的基于强化学习（RL）的规划算法，该算法使用模拟来有效解决这些隐私问题，同时确保预期奖励的保证。在多个基准问题的实验表明，本文的方法在保护奖励函数隐私方面优于以往的方法。

“Layout-and-Retouch”：开创个性化图像生成的新纪元

Posted on 2024-07-13 in CS.AI • 18 words • 1 minute read

摘要

本文介绍了一种名为“Layout-and-Retouch”的双阶段框架，旨在改善个性化图像生成的多样性。该方法针对个性化文本到图像（P-T2I）生成中的关键挑战——如何在保持身份特征的同时提高提示的忠实度。文章提出的解决方案包括两个主要阶段：布局生成和润饰。在第一阶段，通过步融合推理利用基础T2I模型的固有样本多样性生成多样化的布局图像，同时增强提示忠实度。第二阶段通过多源注意力交换，将第一阶段的上下文图像与参考图像结合，利用上下文图像的结构和参考图像的视觉特征，实现高提示忠实度和身份特征的保留。实验证明，该方法能够在保持个性化对象独特身份特征的同时，生成多样化的图像布局，甚至在面对挑战性的文本提示时也能表现出色。

6G边缘智能：低延迟协作微调基础模型的资源管理创新

Posted on 2024-07-13 in CS.AI • 13 words • 1 minute read

摘要

本文探讨了在网络边缘部署大规模基础模型（FoMo）进行低延迟协作微调的资源管理问题。随着人工智能（AI）技术的发展，特别是像ChatGPT这样的生成式AI对话模型，基础模型在移动网络中的应用越来越广泛。为了克服单个设备的内存和计算限制，本文提出了一种多设备协作的微调范式（DEFT），其中边缘设备协同优化基础模型中的不同部分，边缘服务器负责协调和梯度聚合。文章详细介绍了深度感知块分配问题，并提出了一种低复杂度的算法CRUNCH来解决最优块-设备匹配问题，以及联合带宽和块分配（JBBA）问题的解决方案。实验结果表明，通过这种低延迟的DEFT（LoLa-DEFT）框架，可以在GLUE基准上显著减少微调RoBERTa模型的延迟。

APIGen：革新函数调用代理的高质量数据集生成管道

Posted on 2024-07-13 in CS.AI • 16 words • 1 minute read

摘要

本文介绍了一种名为APIGen的自动化数据生成管道，旨在为函数调用应用合成可验证的高质量数据集。通过利用APIGen，收集了跨越21个不同类别的3,673个可执行API，以可扩展和结构化的方式生成多样化的函数调用数据集。每个数据点都经过三个层次的验证阶段：格式检查、实际函数执行和语义验证，确保其可靠性和正确性。实验证明，使用我们精心策划的数据集训练的模型，即使在只有7亿参数的情况下，也能在伯克利函数调用基准测试中达到最先进的性能，超越多个GPT-4模型。此外，我们的1亿参数模型表现出色，超过了GPT-3.5-Turbo和Claude-3 Haiku。我们发布了一个包含60,000个高质量条目的数据集，旨在推动函数调用代理领域的发展。该数据集可在Huggingface和项目主页上获取。

CellAgent：引领单细胞数据分析进入自动化新时代

Posted on 2024-07-13 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为CellAgent的LLM（大型语言模型）驱动的多智能体框架，专门用于自动化单细胞数据分析。CellAgent通过构建生物学专家角色（规划者、执行者和评估者）和分层决策机制，有效地驱动复杂数据分析任务的规划和逐步执行。此外，CellAgent还引入了自我迭代优化机制，使其能够自主评估和优化解决方案，确保输出质量。该框架在包括数十种组织和数百种不同细胞类型的综合基准数据集上进行了评估，结果显示CellAgent能够有效地识别最适合单细胞分析任务的工具和超参数，实现最佳性能。这标志着我们进入了“智能体为科学”的新时代，极大地减少了科学数据分析的工作量。

FarFetched：革新希腊语声明验证的实体中心推理框架

Posted on 2024-07-13 in CS.AI • 8 words • 1 minute read

摘要

随着在线信息的爆炸性增长，人们的注意力变得越来越有限。FarFetched是一项针对希腊语的基于文本环境实体中心推理和声明验证的创新研究。该研究通过从多个在线新闻源收集证据，利用实体链接和语义相似性技术，自动验证用户声明的真实性。FarFetched不仅填补了资源较少语言在自动声明验证方面的空白，还通过训练相关的语义文本相似性（STS）和自然语言推理（NLI）模型，展示了其在希腊语中的应用前景。

Hydra模型：超越Transformer的高效双向序列建模新框架

Posted on 2024-07-13 in CS.AI • 10 words • 1 minute read

摘要

本文探讨了一种基于Transformer框架的序列模型统一矩阵混合器视图，该框架包括交替的序列混合器和通道混合器层。论文提出了一种序列混合器的线性映射概念，涵盖了包括Transformer的自注意力机制和最近的结构化状态空间模型（SSM）在内的多种序列模型。通过分析这些模型的结构化矩阵类属性，论文揭示了它们在效率和表达能力上的下游特性。此外，论文引入了一个名为序列对齐的关键矩阵参数化轴，增强了矩阵混合器的灵活性和性能，并对Transformer和最近的SSM如Mamba的强大性能提供了见解。论文还提出了一种新的次二次序列模型，特别是Mamba模型的自然双向扩展（Hydra），其在非因果任务上表现优于包括Transformer在内的其他序列模型。Hydra作为注意力层的直接替代，在GLUE基准测试中超过BERT 0.8分，在ImageNet上超过ViT 2%的Top-1准确率。

IOT-LM：引领物联网新时代的多感官语言模型

Posted on 2024-07-13 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为IOT-LM的开放源代码大型多感官语言模型，专门为物联网（IoT）生态系统设计。IOT-LM通过两个技术贡献实现其功能：首先，引入了MULTIIOT，这是迄今为止最广泛统一的多感官IoT数据集，包含超过1.15百万个样本，涵盖12种感官模式和8个任务，适用于多感官预训练和指令调整。其次，开发了一种新的多感官多任务适配器层，使预训练的大型语言模型能够同时处理多个多感官IoT任务，从而实现跨模式和任务的信息共享，提高泛化能力。IOT-LM不仅在8个监督IoT分类任务上取得了显著改进，还展示了基于IoT传感器的新型交互式问答、推理和对话能力。

Octo-planner：引领设备端AI规划代理的新时代

Posted on 2024-07-13 in CS.AI • 12 words • 1 minute read

摘要

本文介绍了一种名为Octo-planner的高效设备端规划代理框架，旨在解决资源受限设备上的AI代理规划问题。该框架通过将规划和行动执行分离为两个独立组件，优化了AI代理的决策和问题解决能力。Octo-planner利用GPT-4生成和验证规划数据，并通过微调Phi-3 Mini模型，实现了在设备端的高效部署。此外，文章还提出了一种多LoRA训练方法，以灵活处理复杂的多领域查询，同时保持计算效率。Octo-planner的开发不仅提升了AI代理的性能和适应性，还通过开源模型权重，促进了设备端AI技术的进一步创新和应用。

SeFi-CD：一种革命性的语义优先变化检测方法

Posted on 2024-07-13 in CS.AI • 15 words • 1 minute read

摘要

本文介绍了一种名为SeFi-CD的新型变化检测范式，该范式通过优先感知动态语义信息，然后视觉搜索相关的变化特征，从而实现对任意类型变化区域的检测。与传统的视觉优先变化检测（ViFi-CD）方法相比，SeFi-CD能够更有效地适应不同变化区域的变化检测任务，避免了模型重新训练或方法显著修改的需求。基于SeFi-CD范式，研究者设计了“Anything You Want Change Detection”（AUWCD）框架，并在公开数据集上进行了实验，结果显示AUWCD在F1分数上平均超过现有最先进的监督基线方法5.01%，最高达到13.17%的提升。这一创新方法为变化检测领域提供了新的视角和解决方案。

Previous Page 13 of 156 Next Page