本文介绍了一篇关于使用大型语言模型（LLMs）为可视化内容生成自动标题的教程，题为“CAPTIONING VISUALIZATIONS WITH LARGE LANGUAGE MODELS (CVLLM): A TUTORIAL”。该论文由Giuseppe Carenini、Jordon Johnson和Ali Salamatian共同撰写，探讨了如何利用LLMs增强信息可视化（InfoVis）的文本支持，特别是在自动生成可视化内容的标题方面。论文不仅回顾了InfoVis的基本原则和过去的相关工作，还详细介绍了神经网络和变换器架构在LLMs中的应用，以及这些技术在InfoVis领域的最新进展和未来方向。
Read more...
本文探讨了如何利用大型视觉语言模型（LVLMs）解释不同时期卫星图像之间的时间变化，这对于城市规划和环境监测至关重要。由于手动构建数据集成本高昂，因此人机协作成为一种有前景的方法。论文提出三种提示方法来处理双时相卫星图像，并通过人类评估验证了逐步推理提示方法的有效性。
Read more...
本文探讨了大型语言模型（LLMs）在使用工具时面临的“静默错误”检测问题。工具已成为LLMs的重要组成部分，使它们能够执行网页任务甚至控制机器人。然而，现有的工具使用研究主要集中在工具选择上，而本文引入了一个框架，指导我们探索模型检测这些静默错误的能力，并反思如何进行规划。本文提供了一种初步的故障恢复方法，并在受控的计算器设置和实体代理规划中取得了有希望的结果。
Read more...
本文由Itay Inbar和Luke Sernau撰写，探讨了在固定训练时间下，如何通过优化模型超参数来提高大型Transformer模型的训练效率。文章指出，传统的基于FLOPs的时间估计方法不准确，提出了一种基于内存复制的新代理方法，该方法能更精确地预测模型的训练速度和最终损失。通过结合Chinchilla缩放法则，文章展示了如何仅从模型超参数和期望的训练时间来估计模型的最终损失，从而在不实际训练模型的情况下做出架构决策。
Read more...
本文由Ergun Bic¸ici撰写，探讨了使用稀疏回归技术进行机器翻译的方法。文章通过传导回归技术学习源语言和目标语言特征之间的映射，并利用这些映射生成机器翻译输出。特别地，文章展示了L1正则化回归（lasso）在处理稀疏特征集时比L2正则化回归更为有效。此外，文章介绍了“dice”实例选择方法，用于在有限的计算资源和预期准确性水平下选择合适的训练实例，以学习正确的特征映射。实验结果表明，L1正则化回归在回归测量和使用图解码的翻译实验中均优于L2正则化回归，尤其是在德语到英语和西班牙语到英语的翻译任务中表现出色。
Read more...
本文探讨了个性化扩散模型在适应预训练文本到图像模型以生成特定主题图像时面临的挑战，特别是在面对微小的对抗性扰动时模型的脆弱性。研究指出，这些模型在损坏的数据集上的微调性能大幅下降，并可能被利用来保护敏感图像免受未经授权的生成。为了应对这一问题，研究者提出了基于扩散的净化方法，以移除这些扰动并保持生成性能。然而，现有工作缺乏对个性化扩散模型基本捷径学习漏洞的详细分析，并且倾向于过度净化图像，导致信息丢失。本文通过深入分析个性化扩散模型的微调过程，提出了一个假设，解释了现有扰动方法的底层操纵机制。具体来说，研究者发现扰动图像在其基于CLIP的潜在空间中与其原始配对提示存在显著偏移，导致模型在训练时学习错误的概念映射，从而引发严重的性能下降。基于这一观察，本文提出了一种系统方法，通过净化重新对齐潜在图像及其语义意义，并引入带有负标记的对比学习，以解耦所需清洁身份和不需要的噪声模式的学习，显示出对进一步自适应扰动的强大潜力。本研究有助于更好地理解个性化扩散模型中的捷径学习漏洞，并为未来的保护性扰动研究提供了坚实的评估框架。
Read more...
本文探讨了无限宽度模型（如神经正切核NTK）在性能上通常不如有限模型的问题，并挑战了传统观点，即这种性能差距是由于缺乏特征学习所致。文章通过实验和理论分析表明，即使在没有特征学习的情况下，NTK模型仍然表现不佳，主要原因是现有的无限宽度模型依赖于如随机梯度下降（SGD）这样的弱优化器。文章提出了一种基于类似ADAM优化器动态的无限宽度模型构造方法，并通过实验验证了这种方法能够有效缩小性能差距。
Read more...
本文介绍了一种名为“个性化联邦持续学习通过多粒度提示”（PFCL）的新型实用场景，该场景在共享和个性化知识方面提出了更大的挑战。PFCL不仅依赖于全局时空视角的知识融合进行服务器聚合，还需要根据每个客户端的本地需求改进模型。现有的个性化联邦学习（PFL）或联邦持续学习（FCL）方法忽视了知识的多粒度表示，这种表示可以用来克服时空灾难性遗忘（STCF）并通过粗到细的人类认知机制采用广义知识。此外，它允许更有效地个性化共享知识，从而服务于其自身目的。为此，我们提出了一种称为多粒度提示的新概念，即通过共同模型学习过程获得的粗粒度全局提示，以及用于个性化广义表示的细粒度本地提示。前者专注于高效地转移共享的全局知识而不会空间遗忘，后者强调特定学习个性化本地知识以克服时间遗忘。此外，我们设计了一种选择性提示融合机制，用于从不同客户端提炼的全局提示的知识聚合。通过粗粒度知识的独占融合，我们实现了客户端之间共同知识的传递和细化，进一步增强了个性化性能。大量实验证明了所提方法在解决STCF以及提高个性化性能方面的有效性。我们的代码现在可在https://github.com/SkyOfBeginning/FedMGP获取。
Read more...
本文研究了基于知识的视觉问答（KB-VQA）问题，其中模型需要将问题与视觉模态相结合以找到答案。尽管近期许多工作使用问题依赖的图像描述生成器和大型语言模型（LLM）来解决VQA问题，但研究结果显示它们在处理多跳问题时表现不佳。本文提出通过将复杂问题分解为多个简单问题来提取更多相关信息，并增强对图像的理解。此外，通过分析分解后的问题，确定所需信息的模态，并使用图像描述生成器处理视觉问题，同时使用LLM作为非视觉KB-VQA问题的通用知识源。实验结果表明，在OKVQA、A-OKVQA和KRVQA三个知名VQA数据集上，使用简单问题进行信息检索前的方法提高了准确率，最高可达2%。
Read more...
本文介绍了一种名为“轻量级预测性3D高斯喷洒”的新型表示方法，由Snap Inc.的研究团队开发。该方法通过显著减少存储需求，同时保持或提升渲染质量，解决了大规模场景表示中高斯喷洒存储成本高昂的问题。传统的3D高斯喷洒方法在渲染速度上表现出色，但在存储和传输方面成本极高，限制了其在资源受限设备上的应用。新方法通过识别场景中相邻点共享相似表示的特性，仅存储一小部分关键点（称为父点），并利用小型多层感知机（MLPs）预测其余点（子点）及其属性，从而大幅减少硬盘占用，同时保持高质量的渲染效果。该技术不仅适用于移动设备上的实时渲染，还展示了在资源受限设备上广泛应用的潜力。
Read more...