MED框架：一次训练，多维度应用，知识图谱嵌入的新纪元
摘要
本文介绍了一种名为MED的新型知识图谱嵌入（KGE）训练框架，旨在解决不同应用场景对KGE维度需求不同的问题。MED框架通过一次训练生成一个可裁剪的KGE模型，该模型包含多个不同维度的子模型，这些子模型可以直接使用而无需额外训练。文章详细阐述了MED框架的工作原理、工作流程以及其在多个领域的应用前景，展示了MED框架的高效性、灵活性和广泛适用性。
Read more...ObfuscaTune：保护隐私的大型语言模型离场微调和推理新方法
摘要
本文探讨了在第三方云服务提供商的基础设施上，对由模型提供商拥有的专有大型语言模型（LLM）进行离场微调和推理的问题，同时确保模型和数据的保密性。文章提出了一种名为ObfuscaTune的新方法，该方法结合了简单的混淆技术和高效的保密计算技术，仅将5%的模型参数放置在可信执行环境（TEE）中，从而在保护模型和数据的同时，保持了模型的实用性和效率。实验证明，该方法在多个NLP基准数据集上对不同大小的GPT-2模型进行了有效验证，并强调了使用低条件数的随机矩阵在减少混淆引起的误差中的必要性。
Read more...PII-Compass：引领LLM训练数据提取提示向目标PII靠拢的新方法
摘要
本文探讨了大型语言模型（LLM）在训练数据中记忆个人识别信息（PII）的能力，特别是电话号码的提取问题。论文提出了PII-Compass方法，通过在手动构建的提取提示前加上领域内的数据前缀，显著提高了PII的提取率。该方法在黑盒LLM访问的现实挑战性设置中进行了评估，展示了其有效性。
Read more...SF-GNN：一种新型自过滤图神经网络，有效缓解深度GNN性能退化问题
摘要
本文介绍了一种名为SF-GNN的新方法，用于解决深度图神经网络（GNN）中的性能退化问题。传统的GNN在处理复杂图结构时，如知识图谱，可能会遇到性能退化，表现为节点表示的质量下降。SF-GNN通过引入一个自过滤模块（SFM），评估节点表示的质量，并决定是否将其纳入消息传播过程中，从而有效地缓解了这一问题。实验结果表明，SF-GNN在节点分类和链接预测任务中均优于现有的基线方法，特别是在处理深度GNN时表现出色。
Read more...SFC算法：低精度下的精确快速卷积新突破
摘要
本文介绍了一种名为SFC（Symbolic Fourier Convolution）的新型快速卷积算法，该算法通过扩展离散傅里叶变换（DFT）并结合符号计算，实现了在低精度算术下进行精确的快速卷积。SFC算法通过避免对无理数的直接计算和减少对精度的要求，提高了量化卷积的效率。此外，通过引入修正项，将傅里叶方法的无效循环卷积输出转换为有效输出，进一步提高了卷积效率。实验结果表明，SFC算法在保持精度的同时，能够显著提高量化模型的计算效率，超越了单独的量化方法和现有的快速卷积量化工作。
Read more...ShiftAddAug：无乘法小型神经网络的混合计算增强方法
摘要
本文介绍了一种名为ShiftAddAug的创新方法，旨在增强无乘法的小型神经网络（NN），通过混合计算显著提高其准确性，同时不增加推理开销。ShiftAddAug方法通过将无乘法的小型NN嵌入到一个更大的乘法模型中，并利用乘法部分作为增强来推动目标无乘法模型达到更好的状态。此外，为了解决混合操作符之间的权重差异问题，提出了一种新的权重共享方法。论文还采用了一种两阶段的神经架构搜索策略，以获得更高效的无乘法小型神经网络。实验结果显示，ShiftAddAug在图像分类和语义分割任务中均能显著提升准确性，甚至在某些情况下超过了传统的乘法NN。
Read more...TheoremLlama: 将通用LLM转变为Lean4专家，实现高效数学定理证明
摘要
本文提出了一种名为TheoremLlama的端到端框架，旨在将通用大型语言模型（LLM）转变为Lean4专家，用于在计算机可验证的正式语言中证明数学定理。该框架通过生成自然语言（NL）与正式语言（FL）对齐的数据集，训练LLM进行正式定理证明，并利用NL引导的证明写作技术，显著提高了LLM在Lean4定理证明任务中的性能。TheoremLlama在MiniF2F-Valid和Test数据集上的准确率分别达到了36.48%和33.61%，超过了GPT-4基线。此外，该研究还开源了模型检查点和生成的数据集，预计将降低学术研究者在相关领域的门槛。
Read more...TieBot：机器人如何通过视觉演示学习打领带？探索Real-to-Sim-to-Real学习框架的先进性
摘要
本文介绍了一种名为TieBot的系统，该系统通过视觉演示学习如何打领带，采用了一种从真实到模拟再到真实的（Real-to-Sim-to-Real）学习方法。TieBot系统通过层次特征匹配方法从演示视频中估计领带的网格序列，并利用这些估计的网格作为子目标，首先在模拟环境中学习一个教师策略，然后在模拟环境中学习一个学生策略，通过模仿教师策略来学习从点云观察中抓取和放置领带。最后，当策略应用于真实世界执行时，系统学习一个残差策略，以缓解模拟到真实的差距。实验证明，TieBot在模拟和真实世界中都能有效地完成打领带任务。
Read more...VCHAR：方差驱动的复杂人类活动识别框架及其生成表示的先进性探索
摘要
本文介绍了一种名为VCHAR的新型框架，用于解决复杂人类活动识别（CHAR）中的关键挑战。传统的CHAR方法通常需要对原子活动进行细致的标记，这在实际应用中既耗时又容易出错。VCHAR框架通过利用生成方法和方差驱动的策略，能够在不需要精确时间或序列标记的情况下，提高复杂活动识别的准确性。此外，VCHAR通过视频解释的方式，使得没有机器学习专业知识的用户也能理解复杂活动的分类依据。实验结果显示，VCHAR在多个公开数据集上的表现优于传统方法，并通过用户研究证实了其解释的可理解性。
Read more...VPACE：通过示例状态实现高效机器人操作学习的新方法
摘要
本文介绍了一种名为“Value-Penalized Auxiliary Control from Examples (VPACE)”的新型示例控制方法，旨在通过仅有的任务完成状态示例来高效学习策略。VPACE通过添加计划辅助控制和辅助任务示例来显著改善基于示例的控制中的探索效率。此外，本文还解决了一个价值校准问题，即策略价值估计可能超过基于成功数据的理论极限。通过引入高于成功水平的价值惩罚，VPACE在三个模拟和一个真实机器人操作环境中，以及21个不同的主要任务中，显著提高了学习效率。
Read more...Previous Page
82 of 156
Next Page