"软乞求：保护大型语言模型免受提示注入和越狱攻击的新策略"
摘要
本文探讨了大型语言模型（LLMs）面临的重大安全问题，特别是提示注入（包括直接和间接）和越狱攻击。为了解决这些问题，论文提出了一种名为“软乞求”（Soft Begging）的新型防护方法，该方法通过训练软提示来中和受污染提示对LLM输出的影响。论文不仅介绍了提示注入和越狱攻击的背景，还详细阐述了“软乞求”技术的理论基础，并评估了其有效性。
Read more..."运动与注意力的融合：视频运动提示在动作识别中的创新应用"
摘要
本文由Qixiang Chen等人提出，针对视频处理中的动作识别任务，提出了一种新的方法——视频运动提示（Video Motion Prompts）。传统方法在提取运动特征时往往依赖视觉内容而非精确的运动特征，导致效率低下。本文通过引入一种改进的Sigmoid函数，结合可学习的斜率和偏移参数，作为注意力机制来激活和调制从帧差分图导出的运动信号，生成一系列注意力图，从而增强与运动相关的视频内容的处理。此外，为了确保注意力图的时间连续性和平滑性，作者还引入了成对时间注意力变化正则化，以去除不必要的运动（如噪声）同时保留重要的运动。实验结果表明，该方法能够无缝集成到现有的架构中，如SlowFast、X3D和TimeSformer，并在多个基准测试中达到最先进的性能。
Read more..."零重力下的创新控制：PPO与MPC的完美结合"
摘要
本文探讨了在零重力环境下控制浮动平台的关键问题，特别是在卢森堡大学的零重力实验室（Zero-G Lab）中。文章提出了一种创新的控制方法，结合了近端策略优化（PPO）和模型预测控制（MPC），以应对零重力环境中浮动平台控制的不确定性和干扰。该方法通过PPO的强化学习能力和MPC的精确控制，实现了对浮动平台复杂动力学的适应性控制。实验和模拟结果验证了该方法的有效性，展示了其在空间探索中的应用潜力。
Read more..."革新文本到SQL解析：基于AST的排序与模式修剪技术"
摘要
本文聚焦于大型语言模型（LLM）在文本到SQL语义解析中的应用，针对商业数据库模式规模大和商业智能解决方案部署性的挑战，提出了一种动态检索输入数据库信息并利用抽象语法树（AST）选择少样本示例进行情境学习的方法。此外，研究了并行语义解析器在生成预期SQL查询近似版本中的应用，以支持检索过程。通过在单语和跨语种的语义解析基准测试中展示了对现有技术的改进，全面实验突出了这种检索增强生成设置中模块的贡献，揭示了未来工作的有趣方向。
Read more...“知识蒸馏提示学习：提升零样本泛化的无监督方法”
摘要
本文提出了一种名为“知识蒸馏提示学习（KDPL）”的新方法，旨在改进视觉-语言模型（VLMs）在零样本泛化中的表现。KDPL通过无监督知识蒸馏技术，从更强大的模型中提取知识，以提高轻量级VLMs在下游任务中的性能，尤其是在数据有限的情况下。该方法不依赖于标注样本，能够无缝集成到现有的提示学习技术中，并在多个标准基准数据集上展示了其有效性，特别是在零样本领域泛化、跨数据集泛化和基础到新颖类别的泛化问题上。此外，KDPL还能在不知道训练类别名称的情况下有效传输知识。
Read more...A-LIKNet：实现单次屏气心脏电影成像的深度学习网络
摘要
本文介绍了一种名为A-LIKNet的新型深度学习网络，用于在磁共振成像（MRI）重建过程中整合低秩、图像和k空间信息，以实现单次屏气心脏电影成像。该网络通过并行分支结构，分别在k空间和图像域中独立学习，并通过信息共享层实现域间信息交换。此外，引入注意力机制以增强网络对关键线圈和时间帧的关注。实验结果表明，A-LIKNet在高度 retrospectively undersampled 动态MR图像重建中表现优异，最高可达24倍加速，显示出在单次屏气成像中的潜力。
Read more...AgentInstruct：革命性的合成数据生成框架，推动语言模型性能飞跃
摘要
本文介绍了一种名为AgentInstruct的创新框架，用于自动生成大量多样化和高质量的合成数据，以加速语言模型（包括大型和小型模型）的开发。AgentInstruct通过使用原始数据源（如文本文档和代码文件）作为种子，能够创建包括提示和响应在内的数据对。文章展示了AgentInstruct在创建一个包含2500万对数据的后期训练数据集方面的实用性，该数据集用于教授语言模型多种技能，如文本编辑、创意写作、工具使用、编程、阅读理解等。通过使用这些数据对Mistral-7b模型进行后期训练，结果模型Orca-3在多个基准测试中显示出显著的性能提升。
Read more...DisCo-Diff: 通过离散潜在变量增强连续扩散模型的新方法
摘要
本文介绍了一种名为DisCo-Diff的新型扩散模型，该模型通过引入离散潜在变量来增强连续扩散模型。DisCo-Diff通过引入可学习的离散潜在变量，简化了将复杂数据分布编码为单一高斯分布的学习问题。这些离散潜在变量通过编码器网络推断，并与扩散模型（DM）和编码器进行端到端的训练。DisCo-Diff不依赖于预训练网络，因此具有普遍适用性。实验证明，引入离散潜在变量可以显著简化DM的复杂噪声到数据映射学习，减少生成ODE的曲率，并在多个图像合成任务和分子对接任务中提高模型性能。
Read more...Dy-DCA：革命性的动态深度神经网络框架，实现高效视频超分辨率处理
摘要
本文介绍了一种名为Dy-DCA的动态深度神经网络框架，用于在设备上进行超分辨率处理，通过动态算法和编译器协同设计来减少数据过拟合问题。该框架通过内容感知的数据处理管道和动态深度神经网络，将模型数量减少到一个，从而提高了视频质量并减少了用户端的模型切换和内存占用。此外，还设计了一个编译器级优化框架，以加速用户端的实时推理并节省内存消耗。实验结果显示，该方法在移动设备上实现了更好的峰值信噪比（PSNR）和实时性能（33 FPS），同时实现了1.7倍的加速和1.61倍的内存节省。
Read more...Elevate框架：利用LLM提升VPA应用的VUI测试效率与覆盖率
摘要
本文介绍了一种名为Elevate的新型测试框架，该框架利用大型语言模型（LLM）来增强语音个人助手（VPA）应用的语音用户界面（VUI）测试。Elevate通过LLM的强大自然语言处理能力，弥补了传统模型测试中语义信息的缺失，从而提高了测试的覆盖率和效率。该框架在4000个真实世界Alexa技能上进行了基准测试，与现有技术相比，实现了15%更高的状态空间覆盖率，并在效率上取得了显著进步。
Read more...Previous Page
80 of 156
Next Page