本文由IBM Research Zurich和IBM Research Paris-Saclay的研究人员共同撰写，提出了一种名为“Statements”的新型数据结构，用于从环境、社会和治理（ESG）报告中的表格提取通用信息。这些报告通常包含有关气候变化、温室气体排放、水消耗等关键绩效指标（KPIs）的量化信息。由于表格结构和内容的高度可变性，信息提取变得非常困难。本文介绍了一种新的监督深度学习任务——“声明提取”，通过将表格转换为声明来解决这一问题。研究团队还引入了SemTabNet数据集，包含超过10万条注释表格，并开发了一系列基于T5的声明提取模型，其中最佳模型生成的声明与真实值相似度达到82%，远超基线模型的21%。此外，本文还展示了声明结构在大型ESG报告集合中进行探索性数据分析的优势。
Read more...
本文介绍了一种名为“Instance Temperature Knowledge Distillation”的新方法，旨在通过强化学习（RL）优化知识蒸馏过程中的实例温度调整，以提高学生网络的性能。传统的知识蒸馏方法在调整温度时仅考虑当前阶段的即时效益，而忽略了未来阶段的潜在收益。本文提出的RLKD方法通过将实例温度调整视为一个序列决策任务，利用强化学习框架来动态调整温度，从而考虑未来的性能提升。该方法不仅设计了新的状态表示和实例奖励校准机制，还提出了一种高效的探索策略，以加速学习过程。实验证明，RLKD方法在图像分类和对象检测任务上均取得了最先进的结果，显示出其在知识蒸馏领域的广泛应用前景。
Read more...
本文介绍了一篇关于使用大型语言模型（LLMs）为可视化内容生成自动标题的教程，题为“CAPTIONING VISUALIZATIONS WITH LARGE LANGUAGE MODELS (CVLLM): A TUTORIAL”。该论文由Giuseppe Carenini、Jordon Johnson和Ali Salamatian共同撰写，探讨了如何利用LLMs增强信息可视化（InfoVis）的文本支持，特别是在自动生成可视化内容的标题方面。论文不仅回顾了InfoVis的基本原则和过去的相关工作，还详细介绍了神经网络和变换器架构在LLMs中的应用，以及这些技术在InfoVis领域的最新进展和未来方向。
Read more...
本文探讨了如何利用大型视觉语言模型（LVLMs）解释不同时期卫星图像之间的时间变化，这对于城市规划和环境监测至关重要。由于手动构建数据集成本高昂，因此人机协作成为一种有前景的方法。论文提出三种提示方法来处理双时相卫星图像，并通过人类评估验证了逐步推理提示方法的有效性。
Read more...
本文探讨了大型语言模型（LLMs）在使用工具时面临的“静默错误”检测问题。工具已成为LLMs的重要组成部分，使它们能够执行网页任务甚至控制机器人。然而，现有的工具使用研究主要集中在工具选择上，而本文引入了一个框架，指导我们探索模型检测这些静默错误的能力，并反思如何进行规划。本文提供了一种初步的故障恢复方法，并在受控的计算器设置和实体代理规划中取得了有希望的结果。
Read more...
本文由Itay Inbar和Luke Sernau撰写，探讨了在固定训练时间下，如何通过优化模型超参数来提高大型Transformer模型的训练效率。文章指出，传统的基于FLOPs的时间估计方法不准确，提出了一种基于内存复制的新代理方法，该方法能更精确地预测模型的训练速度和最终损失。通过结合Chinchilla缩放法则，文章展示了如何仅从模型超参数和期望的训练时间来估计模型的最终损失，从而在不实际训练模型的情况下做出架构决策。
Read more...
本文由Ergun Bic¸ici撰写，探讨了使用稀疏回归技术进行机器翻译的方法。文章通过传导回归技术学习源语言和目标语言特征之间的映射，并利用这些映射生成机器翻译输出。特别地，文章展示了L1正则化回归（lasso）在处理稀疏特征集时比L2正则化回归更为有效。此外，文章介绍了“dice”实例选择方法，用于在有限的计算资源和预期准确性水平下选择合适的训练实例，以学习正确的特征映射。实验结果表明，L1正则化回归在回归测量和使用图解码的翻译实验中均优于L2正则化回归，尤其是在德语到英语和西班牙语到英语的翻译任务中表现出色。
Read more...
本文探讨了个性化扩散模型在适应预训练文本到图像模型以生成特定主题图像时面临的挑战，特别是在面对微小的对抗性扰动时模型的脆弱性。研究指出，这些模型在损坏的数据集上的微调性能大幅下降，并可能被利用来保护敏感图像免受未经授权的生成。为了应对这一问题，研究者提出了基于扩散的净化方法，以移除这些扰动并保持生成性能。然而，现有工作缺乏对个性化扩散模型基本捷径学习漏洞的详细分析，并且倾向于过度净化图像，导致信息丢失。本文通过深入分析个性化扩散模型的微调过程，提出了一个假设，解释了现有扰动方法的底层操纵机制。具体来说，研究者发现扰动图像在其基于CLIP的潜在空间中与其原始配对提示存在显著偏移，导致模型在训练时学习错误的概念映射，从而引发严重的性能下降。基于这一观察，本文提出了一种系统方法，通过净化重新对齐潜在图像及其语义意义，并引入带有负标记的对比学习，以解耦所需清洁身份和不需要的噪声模式的学习，显示出对进一步自适应扰动的强大潜力。本研究有助于更好地理解个性化扩散模型中的捷径学习漏洞，并为未来的保护性扰动研究提供了坚实的评估框架。
Read more...
本文探讨了无限宽度模型（如神经正切核NTK）在性能上通常不如有限模型的问题，并挑战了传统观点，即这种性能差距是由于缺乏特征学习所致。文章通过实验和理论分析表明，即使在没有特征学习的情况下，NTK模型仍然表现不佳，主要原因是现有的无限宽度模型依赖于如随机梯度下降（SGD）这样的弱优化器。文章提出了一种基于类似ADAM优化器动态的无限宽度模型构造方法，并通过实验验证了这种方法能够有效缩小性能差距。
Read more...
本文介绍了一种名为“个性化联邦持续学习通过多粒度提示”（PFCL）的新型实用场景，该场景在共享和个性化知识方面提出了更大的挑战。PFCL不仅依赖于全局时空视角的知识融合进行服务器聚合，还需要根据每个客户端的本地需求改进模型。现有的个性化联邦学习（PFL）或联邦持续学习（FCL）方法忽视了知识的多粒度表示，这种表示可以用来克服时空灾难性遗忘（STCF）并通过粗到细的人类认知机制采用广义知识。此外，它允许更有效地个性化共享知识，从而服务于其自身目的。为此，我们提出了一种称为多粒度提示的新概念，即通过共同模型学习过程获得的粗粒度全局提示，以及用于个性化广义表示的细粒度本地提示。前者专注于高效地转移共享的全局知识而不会空间遗忘，后者强调特定学习个性化本地知识以克服时间遗忘。此外，我们设计了一种选择性提示融合机制，用于从不同客户端提炼的全局提示的知识聚合。通过粗粒度知识的独占融合，我们实现了客户端之间共同知识的传递和细化，进一步增强了个性化性能。大量实验证明了所提方法在解决STCF以及提高个性化性能方面的有效性。我们的代码现在可在https://github.com/SkyOfBeginning/FedMGP获取。
Read more...