6G边缘智能：低延迟协作微调基础模型的资源管理创新

Posted on 2024-07-13 in CS.AI • 13 words • 1 minute read

摘要

本文探讨了在网络边缘部署大规模基础模型（FoMo）进行低延迟协作微调的资源管理问题。随着人工智能（AI）技术的发展，特别是像ChatGPT这样的生成式AI对话模型，基础模型在移动网络中的应用越来越广泛。为了克服单个设备的内存和计算限制，本文提出了一种多设备协作的微调范式（DEFT），其中边缘设备协同优化基础模型中的不同部分，边缘服务器负责协调和梯度聚合。文章详细介绍了深度感知块分配问题，并提出了一种低复杂度的算法CRUNCH来解决最优块-设备匹配问题，以及联合带宽和块分配（JBBA）问题的解决方案。实验结果表明，通过这种低延迟的DEFT（LoLa-DEFT）框架，可以在GLUE基准上显著减少微调RoBERTa模型的延迟。

APIGen：革新函数调用代理的高质量数据集生成管道

Posted on 2024-07-13 in CS.AI • 16 words • 1 minute read

摘要

本文介绍了一种名为APIGen的自动化数据生成管道，旨在为函数调用应用合成可验证的高质量数据集。通过利用APIGen，收集了跨越21个不同类别的3,673个可执行API，以可扩展和结构化的方式生成多样化的函数调用数据集。每个数据点都经过三个层次的验证阶段：格式检查、实际函数执行和语义验证，确保其可靠性和正确性。实验证明，使用我们精心策划的数据集训练的模型，即使在只有7亿参数的情况下，也能在伯克利函数调用基准测试中达到最先进的性能，超越多个GPT-4模型。此外，我们的1亿参数模型表现出色，超过了GPT-3.5-Turbo和Claude-3 Haiku。我们发布了一个包含60,000个高质量条目的数据集，旨在推动函数调用代理领域的发展。该数据集可在Huggingface和项目主页上获取。

CellAgent：引领单细胞数据分析进入自动化新时代

Posted on 2024-07-13 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为CellAgent的LLM（大型语言模型）驱动的多智能体框架，专门用于自动化单细胞数据分析。CellAgent通过构建生物学专家角色（规划者、执行者和评估者）和分层决策机制，有效地驱动复杂数据分析任务的规划和逐步执行。此外，CellAgent还引入了自我迭代优化机制，使其能够自主评估和优化解决方案，确保输出质量。该框架在包括数十种组织和数百种不同细胞类型的综合基准数据集上进行了评估，结果显示CellAgent能够有效地识别最适合单细胞分析任务的工具和超参数，实现最佳性能。这标志着我们进入了“智能体为科学”的新时代，极大地减少了科学数据分析的工作量。

FarFetched：革新希腊语声明验证的实体中心推理框架

Posted on 2024-07-13 in CS.AI • 8 words • 1 minute read

摘要

随着在线信息的爆炸性增长，人们的注意力变得越来越有限。FarFetched是一项针对希腊语的基于文本环境实体中心推理和声明验证的创新研究。该研究通过从多个在线新闻源收集证据，利用实体链接和语义相似性技术，自动验证用户声明的真实性。FarFetched不仅填补了资源较少语言在自动声明验证方面的空白，还通过训练相关的语义文本相似性（STS）和自然语言推理（NLI）模型，展示了其在希腊语中的应用前景。

Hydra模型：超越Transformer的高效双向序列建模新框架

Posted on 2024-07-13 in CS.AI • 10 words • 1 minute read

摘要

本文探讨了一种基于Transformer框架的序列模型统一矩阵混合器视图，该框架包括交替的序列混合器和通道混合器层。论文提出了一种序列混合器的线性映射概念，涵盖了包括Transformer的自注意力机制和最近的结构化状态空间模型（SSM）在内的多种序列模型。通过分析这些模型的结构化矩阵类属性，论文揭示了它们在效率和表达能力上的下游特性。此外，论文引入了一个名为序列对齐的关键矩阵参数化轴，增强了矩阵混合器的灵活性和性能，并对Transformer和最近的SSM如Mamba的强大性能提供了见解。论文还提出了一种新的次二次序列模型，特别是Mamba模型的自然双向扩展（Hydra），其在非因果任务上表现优于包括Transformer在内的其他序列模型。Hydra作为注意力层的直接替代，在GLUE基准测试中超过BERT 0.8分，在ImageNet上超过ViT 2%的Top-1准确率。

IOT-LM：引领物联网新时代的多感官语言模型

Posted on 2024-07-13 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为IOT-LM的开放源代码大型多感官语言模型，专门为物联网（IoT）生态系统设计。IOT-LM通过两个技术贡献实现其功能：首先，引入了MULTIIOT，这是迄今为止最广泛统一的多感官IoT数据集，包含超过1.15百万个样本，涵盖12种感官模式和8个任务，适用于多感官预训练和指令调整。其次，开发了一种新的多感官多任务适配器层，使预训练的大型语言模型能够同时处理多个多感官IoT任务，从而实现跨模式和任务的信息共享，提高泛化能力。IOT-LM不仅在8个监督IoT分类任务上取得了显著改进，还展示了基于IoT传感器的新型交互式问答、推理和对话能力。

Octo-planner：引领设备端AI规划代理的新时代

Posted on 2024-07-13 in CS.AI • 12 words • 1 minute read

摘要

本文介绍了一种名为Octo-planner的高效设备端规划代理框架，旨在解决资源受限设备上的AI代理规划问题。该框架通过将规划和行动执行分离为两个独立组件，优化了AI代理的决策和问题解决能力。Octo-planner利用GPT-4生成和验证规划数据，并通过微调Phi-3 Mini模型，实现了在设备端的高效部署。此外，文章还提出了一种多LoRA训练方法，以灵活处理复杂的多领域查询，同时保持计算效率。Octo-planner的开发不仅提升了AI代理的性能和适应性，还通过开源模型权重，促进了设备端AI技术的进一步创新和应用。

SeFi-CD：一种革命性的语义优先变化检测方法

Posted on 2024-07-13 in CS.AI • 15 words • 1 minute read

摘要

本文介绍了一种名为SeFi-CD的新型变化检测范式，该范式通过优先感知动态语义信息，然后视觉搜索相关的变化特征，从而实现对任意类型变化区域的检测。与传统的视觉优先变化检测（ViFi-CD）方法相比，SeFi-CD能够更有效地适应不同变化区域的变化检测任务，避免了模型重新训练或方法显著修改的需求。基于SeFi-CD范式，研究者设计了“Anything You Want Change Detection”（AUWCD）框架，并在公开数据集上进行了实验，结果显示AUWCD在F1分数上平均超过现有最先进的监督基线方法5.01%，最高达到13.17%的提升。这一创新方法为变化检测领域提供了新的视角和解决方案。

WojoodNER-2024：引领阿拉伯语细粒度命名实体识别的新前沿

Posted on 2024-07-13 in CS.AI • 8 words • 1 minute read

摘要

WojoodNER-2024是一项专注于细粒度阿拉伯命名实体识别（NER）的共享任务。该任务提供了新的细粒度阿拉伯NER数据集WojoodFine，并包含三个子任务：封闭式细粒度平面NER、封闭式细粒度嵌套NER和开放式NER（针对加沙战争）。通过这些子任务，研究者们可以探索从经典机器学习到高级深度学习和基于Transformer的技术等多种方法。WojoodNER-2024的目标是丰富阿拉伯NER研究，通过引入细粒度和嵌套实体标注的语料库，推动该领域的发展。

XDELTA：揭秘边缘与基础模型差异的可解释AI工具

Posted on 2024-07-13 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为XDELTA的新型可解释AI工具，旨在解释边缘模型与高精度基础模型在视觉任务中的差异。XDELTA通过引入DELTA网络，一种学习型方法，来表征模型间的差异，并补充边缘网络的特征表示能力。该工具通过几何和概念级别的分析，有效地解释了模型间的差异，并在实际应用中证明了其有效性。

Previous Page 13 of 156 Next Page