Dy-DCA：革命性的动态深度神经网络框架，实现高效视频超分辨率处理

Posted on 2024-07-03 in CS.AI • 14 words • 1 minute read

摘要

本文介绍了一种名为Dy-DCA的动态深度神经网络框架，用于在设备上进行超分辨率处理，通过动态算法和编译器协同设计来减少数据过拟合问题。该框架通过内容感知的数据处理管道和动态深度神经网络，将模型数量减少到一个，从而提高了视频质量并减少了用户端的模型切换和内存占用。此外，还设计了一个编译器级优化框架，以加速用户端的实时推理并节省内存消耗。实验结果显示，该方法在移动设备上实现了更好的峰值信噪比（PSNR）和实时性能（33 FPS），同时实现了1.7倍的加速和1.61倍的内存节省。

Elevate框架：利用LLM提升VPA应用的VUI测试效率与覆盖率

Posted on 2024-07-03 in CS.AI • 12 words • 1 minute read

摘要

本文介绍了一种名为Elevate的新型测试框架，该框架利用大型语言模型（LLM）来增强语音个人助手（VPA）应用的语音用户界面（VUI）测试。Elevate通过LLM的强大自然语言处理能力，弥补了传统模型测试中语义信息的缺失，从而提高了测试的覆盖率和效率。该框架在4000个真实世界Alexa技能上进行了基准测试，与现有技术相比，实现了15%更高的状态空间覆盖率，并在效率上取得了显著进步。

GMM-ResNext：革新说话人验证技术的新星

Posted on 2024-07-03 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为GMM-ResNext的新型模型，该模型结合了生成模型（GMM）和判别模型（ResNext）用于说话人验证。传统的GMM模型在处理语音特征时忽略了帧特征在所有高斯组件上的得分分布以及相邻语音帧之间的关系。GMM-ResNext模型通过提取基于原始声学特征的对数高斯概率特征，并使用ResNext网络作为主干来提取说话人嵌入，从而提高了模型的泛化能力。实验结果显示，该模型在VoxCeleb1-O测试集上相对于ResNet34和ECAPA-TDNN实现了显著的性能提升。

GPTQT：双重量化技术推动大型语言模型效率革命

Posted on 2024-07-03 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为GPTQT的新型后训练量化方法，旨在减少大型语言模型（LLMs）的内存使用和提高处理速度。GPTQT通过将LLM的权重表达为3bit/2bit，采用了一种渐进的二步量化过程，首先使用线性量化将权重量化到一个相对较高的位，然后将其转换为较低位的二进制编码。此外，GPTQT提出了一种重新探索策略来优化初始缩放因子，并在推理过程中将这些步骤合并为纯二进制编码，从而实现高效的计算。实验结果显示，GPTQT在多个模型和数据集上均有效，与3-bit量化基线相比，GPTQT在opt-66B上降低了4.01的困惑度，并在opt-30b上提高了1.24倍的速度。

HEMM：多模态基础模型的全面评估框架

Posted on 2024-07-03 in CS.AI • 20 words • 1 minute read

摘要

本文介绍了一种名为 HEMM 的多模态模型评估框架，该框架通过新的多模态技能、信息流和现实世界用例分类法，能够全面分析多模态模型。HEMM 可用于评估多模态基础模型在基本技能、信息流和现实世界用例三个维度上的能力。通过对 30 个任务的综合实验，研究人员确定了当今模型面临挑战的关键数据集维度，并分析了不同建模维度对下游任务性能的影响。

HypeMeFed: 创新联邦学习框架解决异质性挑战，提升模型性能与效率

Posted on 2024-07-03 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为HypeMeFed的新型联邦学习框架，旨在解决由于客户端能力异质性带来的挑战。HypeMeFed通过结合多出口网络架构和基于超网络的模型权重生成，有效地适应了客户端资源的多样性，并解决了在权重聚合过程中每层信息差异的问题。此外，本文还提出了一种基于低秩分解的方法，以最小化与超网络相关的计算和内存开销。通过在真实世界异质设备测试平台上进行的评估，HypeMeFed在准确性、内存需求和操作加速方面均显示出显著优势，证明了其在利用和吸引异质客户端进行联邦学习方面的有效性。

IncogniText：利用LLM实现先进的文本匿名化技术，保护您的隐私安全

Posted on 2024-07-03 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为IncogniText的新型文本匿名化技术，旨在防止潜在的攻击者正确推断文本作者的私人属性，同时保持文本的实用性和语义。IncogniText利用基于大型语言模型（LLM）的私有属性随机化方法，通过误导攻击者预测错误的私人属性值来实现文本匿名化。实验评估显示，IncogniText能有效减少私人属性泄露，降低攻击者推断准确率超过90%，并已成熟应用于实际场景，通过将匿名化能力提炼成一组LoRA参数，与设备上的模型相结合。

LLMcap：利用大型语言模型革新电信网络故障检测

Posted on 2024-07-03 in CS.AI • 9 words • 1 minute read

摘要

本文介绍了一种名为LLMcap的创新方法，该方法利用大型语言模型（LLM）进行无监督的PCAP（Packet Capture）故障检测。在电信网络中，传统的故障检测方法依赖于手动错误识别，这在处理大量数据时变得不切实际。LLMcap通过自监督学习，利用掩码语言建模来学习PCAP数据的语法、上下文和结构，从而在无需标记数据的情况下实现高精度的故障检测。这种方法不仅提高了故障检测的效率，还为网络分析提供了新的解决方案。

LoRA-Guard：开创资源受限设备上的高效内容审核新时代

Posted on 2024-07-03 in CS.AI • 15 words • 1 minute read

摘要

本文介绍了一种名为LoRA-Guard的新型内容审核方法，专门针对资源受限的计算设备如移动电话上的大型语言模型（LLMs）应用。LoRA-Guard通过在LLMs和防护模型之间共享知识，利用低秩适配器（LoRA）提取语言特征并进行内容审核任务的适配。该方法通过双路径设计，防止了生成任务性能的下降，并在保持准确性的同时，将参数开销降低了100-1000倍，使得在设备上进行内容审核成为可能。

M5模型：单核苷酸分辨率下的细菌全基因组编码器 - 探索基因组学的新前沿

Posted on 2024-07-03 in CS.AI • 30 words • 1 minute read

摘要

本文介绍了一种名为M5的新型线性注意力机制，该机制能够扩展编码器仅变换器的上下文长度，达到百万级单核苷酸分辨率的基础模型，预训练于细菌全基因组。M5模型通过近似全二次注意力机制，实现了在低关键查询嵌入维度下的简单轻量级实现。该模型在单个A100 GPU上训练和测试，训练时支持高达196K核苷酸，测试时支持高达2M核苷酸。文章还展示了随着全基因组细菌序列长度的增加，M5-small模型的性能显著提升，并证明了所使用的全多头注意力近似的稳定性。

Previous Page 81 of 156 Next Page