GMM-ResNext：革新说话人验证技术的新星

Posted on 2024-07-03 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为GMM-ResNext的新型模型，该模型结合了生成模型（GMM）和判别模型（ResNext）用于说话人验证。传统的GMM模型在处理语音特征时忽略了帧特征在所有高斯组件上的得分分布以及相邻语音帧之间的关系。GMM-ResNext模型通过提取基于原始声学特征的对数高斯概率特征，并使用ResNext网络作为主干来提取说话人嵌入，从而提高了模型的泛化能力。实验结果显示，该模型在VoxCeleb1-O测试集上相对于ResNet34和ECAPA-TDNN实现了显著的性能提升。

GPTQT：双重量化技术推动大型语言模型效率革命

Posted on 2024-07-03 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为GPTQT的新型后训练量化方法，旨在减少大型语言模型（LLMs）的内存使用和提高处理速度。GPTQT通过将LLM的权重表达为3bit/2bit，采用了一种渐进的二步量化过程，首先使用线性量化将权重量化到一个相对较高的位，然后将其转换为较低位的二进制编码。此外，GPTQT提出了一种重新探索策略来优化初始缩放因子，并在推理过程中将这些步骤合并为纯二进制编码，从而实现高效的计算。实验结果显示，GPTQT在多个模型和数据集上均有效，与3-bit量化基线相比，GPTQT在opt-66B上降低了4.01的困惑度，并在opt-30b上提高了1.24倍的速度。

HEMM：多模态基础模型的全面评估框架

Posted on 2024-07-03 in CS.AI • 20 words • 1 minute read

摘要

本文介绍了一种名为 HEMM 的多模态模型评估框架，该框架通过新的多模态技能、信息流和现实世界用例分类法，能够全面分析多模态模型。HEMM 可用于评估多模态基础模型在基本技能、信息流和现实世界用例三个维度上的能力。通过对 30 个任务的综合实验，研究人员确定了当今模型面临挑战的关键数据集维度，并分析了不同建模维度对下游任务性能的影响。

HypeMeFed: 创新联邦学习框架解决异质性挑战，提升模型性能与效率

Posted on 2024-07-03 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为HypeMeFed的新型联邦学习框架，旨在解决由于客户端能力异质性带来的挑战。HypeMeFed通过结合多出口网络架构和基于超网络的模型权重生成，有效地适应了客户端资源的多样性，并解决了在权重聚合过程中每层信息差异的问题。此外，本文还提出了一种基于低秩分解的方法，以最小化与超网络相关的计算和内存开销。通过在真实世界异质设备测试平台上进行的评估，HypeMeFed在准确性、内存需求和操作加速方面均显示出显著优势，证明了其在利用和吸引异质客户端进行联邦学习方面的有效性。

IncogniText：利用LLM实现先进的文本匿名化技术，保护您的隐私安全

Posted on 2024-07-03 in CS.AI • 8 words • 1 minute read

摘要

本文介绍了一种名为IncogniText的新型文本匿名化技术，旨在防止潜在的攻击者正确推断文本作者的私人属性，同时保持文本的实用性和语义。IncogniText利用基于大型语言模型（LLM）的私有属性随机化方法，通过误导攻击者预测错误的私人属性值来实现文本匿名化。实验评估显示，IncogniText能有效减少私人属性泄露，降低攻击者推断准确率超过90%，并已成熟应用于实际场景，通过将匿名化能力提炼成一组LoRA参数，与设备上的模型相结合。

LLMcap：利用大型语言模型革新电信网络故障检测

Posted on 2024-07-03 in CS.AI • 9 words • 1 minute read

摘要

本文介绍了一种名为LLMcap的创新方法，该方法利用大型语言模型（LLM）进行无监督的PCAP（Packet Capture）故障检测。在电信网络中，传统的故障检测方法依赖于手动错误识别，这在处理大量数据时变得不切实际。LLMcap通过自监督学习，利用掩码语言建模来学习PCAP数据的语法、上下文和结构，从而在无需标记数据的情况下实现高精度的故障检测。这种方法不仅提高了故障检测的效率，还为网络分析提供了新的解决方案。

LoRA-Guard：开创资源受限设备上的高效内容审核新时代

Posted on 2024-07-03 in CS.AI • 15 words • 1 minute read

摘要

本文介绍了一种名为LoRA-Guard的新型内容审核方法，专门针对资源受限的计算设备如移动电话上的大型语言模型（LLMs）应用。LoRA-Guard通过在LLMs和防护模型之间共享知识，利用低秩适配器（LoRA）提取语言特征并进行内容审核任务的适配。该方法通过双路径设计，防止了生成任务性能的下降，并在保持准确性的同时，将参数开销降低了100-1000倍，使得在设备上进行内容审核成为可能。

M5模型：单核苷酸分辨率下的细菌全基因组编码器 - 探索基因组学的新前沿

Posted on 2024-07-03 in CS.AI • 30 words • 1 minute read

摘要

本文介绍了一种名为M5的新型线性注意力机制，该机制能够扩展编码器仅变换器的上下文长度，达到百万级单核苷酸分辨率的基础模型，预训练于细菌全基因组。M5模型通过近似全二次注意力机制，实现了在低关键查询嵌入维度下的简单轻量级实现。该模型在单个A100 GPU上训练和测试，训练时支持高达196K核苷酸，测试时支持高达2M核苷酸。文章还展示了随着全基因组细菌序列长度的增加，M5-small模型的性能显著提升，并证明了所使用的全多头注意力近似的稳定性。

MED框架：一次训练，多维度应用，知识图谱嵌入的新纪元

Posted on 2024-07-03 in CS.AI • 14 words • 1 minute read

摘要

本文介绍了一种名为MED的新型知识图谱嵌入（KGE）训练框架，旨在解决不同应用场景对KGE维度需求不同的问题。MED框架通过一次训练生成一个可裁剪的KGE模型，该模型包含多个不同维度的子模型，这些子模型可以直接使用而无需额外训练。文章详细阐述了MED框架的工作原理、工作流程以及其在多个领域的应用前景，展示了MED框架的高效性、灵活性和广泛适用性。

ObfuscaTune：保护隐私的大型语言模型离场微调和推理新方法

Posted on 2024-07-03 in CS.AI • 8 words • 1 minute read

摘要

本文探讨了在第三方云服务提供商的基础设施上，对由模型提供商拥有的专有大型语言模型（LLM）进行离场微调和推理的问题，同时确保模型和数据的保密性。文章提出了一种名为ObfuscaTune的新方法，该方法结合了简单的混淆技术和高效的保密计算技术，仅将5%的模型参数放置在可信执行环境（TEE）中，从而在保护模型和数据的同时，保持了模型的实用性和效率。实验证明，该方法在多个NLP基准数据集上对不同大小的GPT-2模型进行了有效验证，并强调了使用低条件数的随机矩阵在减少混淆引起的误差中的必要性。

Previous Page 81 of 156 Next Page