本文探讨了针对昂贵的黑盒函数进行全局敏感性分析的主动学习问题。目标是通过高效的实验资源分配，学习不同输入变量（如车辆安全实验中的组件厚度）对安全目标的影响。由于函数评估成本高昂，本文提出了直接针对基于导数的全局敏感性度量（DGSMs）的主动学习获取函数，这些函数基于高斯过程代理模型。通过在合成和现实世界问题上的全面评估，本文展示了这些主动学习策略如何显著提高DGSM估计的样本效率，特别是在评估预算有限的情况下。本文的工作为科学和工程应用中的更高效和准确的敏感性分析铺平了道路。
Read more...
本文介绍了一种新颖的不对称多模态融合方法，用于高效的多标签皮肤病变分类。在临床诊断中，通常会同时采集临床图像和皮肤镜图像，但皮肤镜图像对于多标签皮肤病变分类更为关键。现有的多模态方法主要通过先进的融合模块来提高分类性能，但往往忽略了参数数量的增加。本文提出的方法包括两个创新方案：首先，验证了不对称融合结构的有效性，该结构使用轻量级网络处理临床图像，而使用更复杂的网络处理皮肤镜图像，从而显著减少了参数数量。其次，提出了一种不对称注意力模块，该模块仅利用临床图像信息来增强皮肤镜图像特征，将临床图像视为补充信息。实验结果表明，该方法在七个点检查表数据集上表现出色，优于现有方法，并且将公开代码。
Read more...
本文提出了一种新的训练数据采样方法，旨在加速结合语言模型（LLM）的A搜索算法。传统的A搜索结合LLM的方法存在计算成本高且性能提升不显著的问题。本文通过识别和利用搜索树中对加速A*搜索贡献最大的节点，提出了一种新的数据分布来下采样训练数据，从而在保持计算成本受限的同时，学习到更有效的启发式函数。实验结果表明，该方法在迷宫导航和推箱子（Sokoban）两个经典规划领域中，能够将找到解决方案所需的迭代次数减少高达13倍，实际运行时间加速高达5倍。
Read more...
本文《Graph Transformers: A Survey》深入探讨了图变换器（Graph Transformers）这一机器学习领域的最新进展。图变换器是一种新型的神经网络模型，专门用于处理图结构数据。文章首先介绍了图和变换器的基本概念，然后详细探讨了图变换器的设计视角，包括如何将图归纳偏差和图注意力机制整合到变换器架构中。此外，文章还提出了一种基于深度、可扩展性和预训练策略的图变换器分类法，并总结了有效开发图变换器模型的关键原则。文章不仅分析了图变换器的技术细节，还讨论了其在节点级、边级和图级任务中的应用，以及在其他应用场景中的潜力。最后，文章指出了图变换器领域面临的挑战，如可扩展性、效率、泛化能力、鲁棒性、解释性和动态复杂图的处理，并展望了未来的研究方向。
Read more...
本文介绍了一种新颖的方法，通过学习度量矩阵来增强Clifford群等变神经网络（CGENNs）的灵活性和适应性。CGENNs利用Clifford代数和多向量作为整合群等变性的替代方法，确保神经表示中的对称约束。传统方法限制了内部网络表示为欧几里得或闵可夫斯基（伪）度量，而本文提出的方法允许度量矩阵在数据驱动的方式下通过梯度下降学习，从而使CGENN网络能够学习更灵活的表示。具体来说，我们通过完全填充度量矩阵并利用特征值分解，将这一可学习的组件以合理的方式整合到原始CGENN框架中。此外，我们利用范畴论的洞察力，将Clifford代数解释为范畴构造，确保我们方法的数学严谨性。我们在多个任务中验证了我们的方法，并展示了学习更灵活的潜在度量表示的优势。代码和数据可在https://github.com/rick-ali/Metric-Learning-for-CGENNs获取。
Read more...
本文介绍了一种创建系统化和全面单语NLP调查的方法，并将其应用于2012年至2022年的希腊NLP研究。该研究填补了文献中单语NLP调查的空白，通过结构化搜索协议选择出版物，并通过NLP任务的分类法组织它们。我们包括了语言资源（LRs）的分类，根据其可用性，并强调了公开可用的和机器可操作的LRs。通过应用我们的方法，我们对希腊NLP进行了系统的文献回顾，提供了当前状态和挑战的全面概述。我们讨论了希腊NLP的进展，并概述了遇到的希腊LRs，按可用性和可用性分类。我们考虑这种对希腊NLP的系统文献回顾是我们的方法的一个应用，展示了单语NLP调查的好处。类似的应用可以关注那些在NLP方面进展落后于良好支持语言的无数语言。
Read more...
本文介绍了一种名为NativQA的框架，旨在构建与特定区域和文化对齐的多语言自然问题回答（QA）数据集，用于评估和微调大型语言模型（LLMs）。该研究提出了一个名为MultiNativQA的多语言QA数据集，包含约72,000个QA对，涵盖七种语言和18个主题。通过对比开放和封闭源LLMs在该数据集上的表现，论文展示了NativQA框架的有效性，并强调了其在提升LLMs对本地用户信息需求和文化背景适应性方面的潜力。
Read more...
本文介绍了一种名为TemporalStory的新型故事可视化方法，该方法通过利用空间-时间注意力机制来增强图像生成中的连贯性。故事可视化是一个挑战性的任务，它不仅需要从文本提示中渲染视觉细节，还需要确保图像之间的一致性。传统的自回归方法通常依赖于先前的图像-句子对来解决不一致问题，但这些方法忽略了故事上下文分散在所有句子中的事实。TemporalStory通过引入文本适配器和故事流适配器，有效地整合了来自其他句子的信息，并利用图像间的场景变化来指导模型，从而在故事可视化和故事续写任务中取得了优于现有技术的性能。
Read more...
本文探讨了上下文学习（In-Context Learning, ICL）在Transformer模型中的线性注意力机制的细粒度分析。文章通过研究数据分布、架构选择以及低秩参数化等方面，深入探讨了ICL的优化和泛化景观。研究发现，在适当的关联设计假设下，单层线性注意力和状态空间模型（H3）都能实现一步预条件梯度下降。此外，通过研究关联设计，文章提供了检索增强生成（RAG）和任务-特征对齐的新风险边界，揭示了ICL样本复杂度如何从分布对齐中受益。文章还推导了低秩参数化注意力权重的最优风险，并探讨了LoRA如何通过捕捉任务协方差之间的偏移来适应新分布。实验结果验证了理论发现，总体上，这项工作在实际有意义的设置中探索了ICL的优化和风险景观，并对其机制有了更深入的理解。
Read more...
本文探讨了利用大型语言模型（LLMs）从医学文本中提取因果关系的可能性，特别是在临床实践指南（CPGs）中的应用。研究团队通过实验比较了BERT及其变体（如BioBERT、DistilBERT）与GPT-4和LLAMA2在因果关系提取任务中的表现。结果显示，BioBERT在提取因果关系方面表现最佳，平均F1分数达到0.72，而GPT-4和LLAMA2虽然性能相近，但不如BioBERT稳定。此外，研究还公开了相关代码和一个注释的因果关系语料库，为未来的研究提供了宝贵的资源。
Read more...