本文介绍了一项关于视觉语言模型（VLMs）在文化理解方面的研究。研究团队开发了CULTURALVQA基准，这是一个用于评估VLMs对来自11个国家、跨越5大洲的文化概念理解的视觉问答基准。该基准包含2,378个图像-问题对，每个问题有1-5个答案，涵盖了服装、食物、饮料、仪式和传统等多个文化方面。研究结果显示，VLMs在北美文化的理解上表现较好，而在非洲文化的理解上表现较差，这表明VLMs在文化理解方面存在显著的不平衡。此外，研究还揭示了开源模型与闭源模型在文化理解能力上的差距，并强调了CULTURALVQA作为评估VLMs文化理解进步的综合工具的潜力。
Read more...
本文介绍了一种名为MSEGRNN的新型模型，该模型通过结合Mamba结构、隐式分段和残差结构，对SegRNN模型进行了增强，以提高长期时间序列预测的性能。长期时间序列预测面临的主要挑战包括处理大量的回顾窗口和长范围预测步骤，这使得基于RNN的方法面临重大挑战。MSEGRNN模型通过引入Mamba结构来选择有用信息，并结合隐式分段和残差结构，有效地减少了RNN架构固有的数据迭代周期，并隐式整合了通道间相关性。实验结果表明，该模型在真实世界的长期时间序列预测数据集上表现出色，为长期时间序列预测方法的发展做出了贡献。
Read more...
本文介绍了一项名为VGBench的全面基准测试，旨在评估大型语言模型（LLMs）在处理矢量图形（Vector Graphics, VG）方面的能力。矢量图形是一种文本形式的视觉内容表示方法，特别适合设计师和艺术家使用几何基元如多边形来描绘世界。VGBench通过多种矢量图形格式、问题类型和提示技术，评估LLMs在矢量图形理解和生成方面的能力。研究结果显示，LLMs在处理具有高层次语义的矢量图形格式（如TikZ和Graphviz）时表现更佳，而在低层次格式（如SVG）上表现较差。此外，高级提示技术如上下文学习和思维链提示可以显著提升LLMs在矢量图形处理上的性能。
Read more...
本文由Seungri Yoon等人撰写，题为“Melon Fruit Detection and Quality Assessment Using Generative AI-Based Image Data Augmentation”，探讨了在农业领域中利用生成式人工智能（AI）进行瓜果检测和质量评估的问题。文章指出，在农业中，高质量的图像数据集对于训练深度学习模型如YOLO进行实时水果检测至关重要，但这类数据集往往稀缺。为此，研究者们利用MidJourney和Firefly等工具通过文本到图像、图像到图像的方法生成瓜果图像，并评估了这些AI生成图像的质量和YOLOv9模型的检测性能。研究结果表明，生成式AI能够创建与真实图像极为相似的图像，这对于瓜果检测和质量评估具有重要意义，预示着生成式AI在农业领域的广泛应用前景。
Read more...
本文介绍了一种名为Think-on-Graph 2.0（ToG2.0）的增强型检索增强生成（RAG）框架，旨在通过知识图谱引导的检索，深化和细化信息收集与整合过程。ToG2.0通过将问题与知识图谱对齐并利用其作为导航工具，不仅提高了大型语言模型（LLMs）响应的准确性和可靠性，还展示了混合结构化知识系统在推进LLM推理方面的潜力，使其更接近人类的表现。论文通过在四个公共数据集上的广泛实验，证明了该方法相对于基线的优势。
Read more...
本文介绍了一种名为NTSEBENCH的新型数据集，旨在评估大型深度学习模型（如LLMs和VLMs）在复杂文本、视觉和多模态认知推理能力方面的表现。该数据集包含2,728个多选题，涵盖26个不同的问题类别，来源于印度全国性的NTSE考试。文章还提出了四种不同的建模策略来处理数据集中的多模态（文本和图像）实例，并评估了开源和专有模型的性能。研究结果显示，专有模型在大多数类别中表现优于开源模型，且在多模态问题上的表现尤为突出。此外，文章还探讨了不同建模策略对模型准确性的影响，并强调了多模态推理对于当前最先进的VLMs来说是一个显著的挑战。
Read more...
本文介绍了一种名为DDFAD（Dataset Distillation Framework for Audio Data）的创新框架，专门用于音频数据的分类任务。该框架通过将大型音频数据集压缩成更小的浓缩数据集，从而显著减少训练深度神经网络所需的计算和存储资源。DDFAD的核心创新在于提出了Fused Differential MFCC（FD-MFCC）特征提取方法，并通过匹配训练轨迹（MTT）方法进行数据集浓缩。此外，还提出了一种基于Griffin-Lim算法的音频信号重建算法，以从浓缩的FD-MFCC中重建音频信号。实验结果表明，使用DDFAD浓缩的音频数据集训练的模型，其性能与使用完整数据集训练的模型相当，显示出在持续学习和神经架构搜索等领域的广泛应用前景。
Read more...
本文《Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models》探讨了大型语言模型（LLMs）在社会科学文本标注任务中的应用，特别是在提示（prompt）选择对标注准确性的影响。文章通过实验证明，不同的提示会导致显著的性能差异，并提出了一种自动提示优化方法来系统地生成高质量提示。此外，文章还提供了一个简单的浏览器实现方法，以帮助社会科学家更好地理解和应用这一技术。
Read more...
本文探讨了基于深度学习的图像到图像（I2I）网络在图像超分辨率和去噪等任务中的后门漏洞问题。文章提出了一种新颖的后门攻击技术，该技术在处理正常输入图像时表现正常，但在包含特定触发器的恶意输入图像时输出预定的敌对图像。为了实现这一攻击，文章提出了一种针对I2I网络的目标通用对抗扰动（UAP）生成算法，并采用多任务学习（MTL）与动态加权方法加速训练过程的收敛。此外，文章还将I2I后门扩展到攻击下游任务，如图像分类和对象检测，并通过大量实验证明了该后门攻击在现有I2I网络架构中的有效性和对主流后门防御的鲁棒性。
Read more...
本文探讨了Stable Diffusion（SD）模型在图像合成中的应用，特别是通过图像到图像的转换方式，将真实图像转换为高度逼真的合成图像的过程，这一过程被称为SD图像清洗。文章指出，这种技术可能导致法医分析在验证内容真实性时遇到困难，尤其是对于敏感和有害材料的识别。为了解决这一问题，研究者提出了一种两阶段的检测管道，能够有效区分原始图像、清洗后的图像和完全合成的图像，显示出在各种条件下的鲁棒性。此外，文章还强调了图像清洗可能掩盖法医检测器用于解决相机模型识别任务的独特痕迹，严重削弱其性能。
Read more...