PII-Compass：引领LLM训练数据提取提示向目标PII靠拢的新方法
摘要
本文探讨了大型语言模型（LLM）在训练数据中记忆个人识别信息（PII）的能力，特别是电话号码的提取问题。论文提出了PII-Compass方法，通过在手动构建的提取提示前加上领域内的数据前缀，显著提高了PII的提取率。该方法在黑盒LLM访问的现实挑战性设置中进行了评估，展示了其有效性。
Read more...SF-GNN：一种新型自过滤图神经网络，有效缓解深度GNN性能退化问题
摘要
本文介绍了一种名为SF-GNN的新方法，用于解决深度图神经网络（GNN）中的性能退化问题。传统的GNN在处理复杂图结构时，如知识图谱，可能会遇到性能退化，表现为节点表示的质量下降。SF-GNN通过引入一个自过滤模块（SFM），评估节点表示的质量，并决定是否将其纳入消息传播过程中，从而有效地缓解了这一问题。实验结果表明，SF-GNN在节点分类和链接预测任务中均优于现有的基线方法，特别是在处理深度GNN时表现出色。
Read more...SFC算法：低精度下的精确快速卷积新突破
摘要
本文介绍了一种名为SFC（Symbolic Fourier Convolution）的新型快速卷积算法，该算法通过扩展离散傅里叶变换（DFT）并结合符号计算，实现了在低精度算术下进行精确的快速卷积。SFC算法通过避免对无理数的直接计算和减少对精度的要求，提高了量化卷积的效率。此外，通过引入修正项，将傅里叶方法的无效循环卷积输出转换为有效输出，进一步提高了卷积效率。实验结果表明，SFC算法在保持精度的同时，能够显著提高量化模型的计算效率，超越了单独的量化方法和现有的快速卷积量化工作。
Read more...ShiftAddAug：无乘法小型神经网络的混合计算增强方法
摘要
本文介绍了一种名为ShiftAddAug的创新方法，旨在增强无乘法的小型神经网络（NN），通过混合计算显著提高其准确性，同时不增加推理开销。ShiftAddAug方法通过将无乘法的小型NN嵌入到一个更大的乘法模型中，并利用乘法部分作为增强来推动目标无乘法模型达到更好的状态。此外，为了解决混合操作符之间的权重差异问题，提出了一种新的权重共享方法。论文还采用了一种两阶段的神经架构搜索策略，以获得更高效的无乘法小型神经网络。实验结果显示，ShiftAddAug在图像分类和语义分割任务中均能显著提升准确性，甚至在某些情况下超过了传统的乘法NN。
Read more...TheoremLlama: 将通用LLM转变为Lean4专家，实现高效数学定理证明
摘要
本文提出了一种名为TheoremLlama的端到端框架，旨在将通用大型语言模型（LLM）转变为Lean4专家，用于在计算机可验证的正式语言中证明数学定理。该框架通过生成自然语言（NL）与正式语言（FL）对齐的数据集，训练LLM进行正式定理证明，并利用NL引导的证明写作技术，显著提高了LLM在Lean4定理证明任务中的性能。TheoremLlama在MiniF2F-Valid和Test数据集上的准确率分别达到了36.48%和33.61%，超过了GPT-4基线。此外，该研究还开源了模型检查点和生成的数据集，预计将降低学术研究者在相关领域的门槛。
Read more...TieBot：机器人如何通过视觉演示学习打领带？探索Real-to-Sim-to-Real学习框架的先进性
摘要
本文介绍了一种名为TieBot的系统，该系统通过视觉演示学习如何打领带，采用了一种从真实到模拟再到真实的（Real-to-Sim-to-Real）学习方法。TieBot系统通过层次特征匹配方法从演示视频中估计领带的网格序列，并利用这些估计的网格作为子目标，首先在模拟环境中学习一个教师策略，然后在模拟环境中学习一个学生策略，通过模仿教师策略来学习从点云观察中抓取和放置领带。最后，当策略应用于真实世界执行时，系统学习一个残差策略，以缓解模拟到真实的差距。实验证明，TieBot在模拟和真实世界中都能有效地完成打领带任务。
Read more...VCHAR：方差驱动的复杂人类活动识别框架及其生成表示的先进性探索
摘要
本文介绍了一种名为VCHAR的新型框架，用于解决复杂人类活动识别（CHAR）中的关键挑战。传统的CHAR方法通常需要对原子活动进行细致的标记，这在实际应用中既耗时又容易出错。VCHAR框架通过利用生成方法和方差驱动的策略，能够在不需要精确时间或序列标记的情况下，提高复杂活动识别的准确性。此外，VCHAR通过视频解释的方式，使得没有机器学习专业知识的用户也能理解复杂活动的分类依据。实验结果显示，VCHAR在多个公开数据集上的表现优于传统方法，并通过用户研究证实了其解释的可理解性。
Read more...VPACE：通过示例状态实现高效机器人操作学习的新方法
摘要
本文介绍了一种名为“Value-Penalized Auxiliary Control from Examples (VPACE)”的新型示例控制方法，旨在通过仅有的任务完成状态示例来高效学习策略。VPACE通过添加计划辅助控制和辅助任务示例来显著改善基于示例的控制中的探索效率。此外，本文还解决了一个价值校准问题，即策略价值估计可能超过基于成功数据的理论极限。通过引入高于成功水平的价值惩罚，VPACE在三个模拟和一个真实机器人操作环境中，以及21个不同的主要任务中，显著提高了学习效率。
Read more...Zero-X框架：利用区块链和联邦学习实现IoV中的零日攻击检测
摘要
本文提出了一种名为Zero-X的创新安全框架，旨在检测互联网车辆（IoV）环境中的零日（0-day）和N日（N-day）攻击。该框架结合了深度神经网络与开放集识别（OSR）技术，并利用区块链技术实现可信和去中心化的联邦学习（FL）。Zero-X框架不仅优先考虑隐私保护，还允许连接和自动化车辆（CAVs）以及安全运营中心（SOCs）在保护敏感数据隐私的同时贡献其独特知识。实验结果表明，该框架在两个最新的网络流量数据集上实现了高检测率，同时最小化了误报率。与现有解决方案相比，Zero-X框架表现更优。
Read more...从52亿到1万亿：探索大型语言模型的极限与未来
摘要
本文由北京人工智能研究院和中国电信人工智能研究院等机构的研究人员共同撰写，探讨了大型语言模型（LLMs）的发展，特别是从52亿参数到1万亿参数模型的训练和优化策略。论文首先讨论了在Tele-FLM-52B模型上进行的监督微调（SFT）实验，验证了“少即是多”的数据构建方法的有效性。接着，论文展示了如何逐步将模型从52亿参数扩展到1万亿参数的最佳实践，并计划开源1万亿参数的模型检查点Tele-FLM-1T，以推动进一步的研究和模型训练。
Read more...Previous Page
82 of 156
Next Page