本文由Rining Wu等人提出，旨在解决动态视觉场景与视网膜神经编码之间的内在时间关系问题。传统的研究多基于静态图像或人工视频，忽略了复杂的时间关系。为此，作者提出了Vi-ST模型，这是一个结合了自监督Vision Transformer（ViT）先验的时空卷积神经网络，旨在解析视网膜神经群体基于时间的编码模式。该模型在泛化测试中表现出强大的预测性能，并通过详细的消融实验验证了各时间模块的重要性。此外，文章还引入了一种视觉编码评估指标，该指标考虑了时间因素，并探讨了不同数量的神经群体对互补编码的影响。总体而言，Vi-ST模型为大脑中动态视觉场景的神经编码提供了一个新颖的建模框架，有效地将我们对视频的大脑表征与神经活动对齐。
Read more...
本文介绍了一种新颖的条件生成模型，用于心脏的空间-时间神经距离场的条件生成建模。该模型通过隐式方式模拟心脏的形状和运动，并结合临床人口统计数据进行条件化。传统的空间-时间建模方法需要形状对应或面临巨大的内存需求，而本文提出的模型通过神经距离场的方式，能够有效地处理复杂的心脏解剖结构，无需样本间的对应关系。该模型在左心房（包括左心耳）的建模中表现出色，能够生成逼真的心脏运动序列，为临床诊断和研究提供了新的工具。
Read more...
本文介绍了一项关于视觉语言模型（VLMs）在文化理解方面的研究。研究团队开发了CULTURALVQA基准，这是一个用于评估VLMs对来自11个国家、跨越5大洲的文化概念理解的视觉问答基准。该基准包含2,378个图像-问题对，每个问题有1-5个答案，涵盖了服装、食物、饮料、仪式和传统等多个文化方面。研究结果显示，VLMs在北美文化的理解上表现较好，而在非洲文化的理解上表现较差，这表明VLMs在文化理解方面存在显著的不平衡。此外，研究还揭示了开源模型与闭源模型在文化理解能力上的差距，并强调了CULTURALVQA作为评估VLMs文化理解进步的综合工具的潜力。
Read more...
本文介绍了一种名为MSEGRNN的新型模型，该模型通过结合Mamba结构、隐式分段和残差结构，对SegRNN模型进行了增强，以提高长期时间序列预测的性能。长期时间序列预测面临的主要挑战包括处理大量的回顾窗口和长范围预测步骤，这使得基于RNN的方法面临重大挑战。MSEGRNN模型通过引入Mamba结构来选择有用信息，并结合隐式分段和残差结构，有效地减少了RNN架构固有的数据迭代周期，并隐式整合了通道间相关性。实验结果表明，该模型在真实世界的长期时间序列预测数据集上表现出色，为长期时间序列预测方法的发展做出了贡献。
Read more...
本文介绍了一项名为VGBench的全面基准测试，旨在评估大型语言模型（LLMs）在处理矢量图形（Vector Graphics, VG）方面的能力。矢量图形是一种文本形式的视觉内容表示方法，特别适合设计师和艺术家使用几何基元如多边形来描绘世界。VGBench通过多种矢量图形格式、问题类型和提示技术，评估LLMs在矢量图形理解和生成方面的能力。研究结果显示，LLMs在处理具有高层次语义的矢量图形格式（如TikZ和Graphviz）时表现更佳，而在低层次格式（如SVG）上表现较差。此外，高级提示技术如上下文学习和思维链提示可以显著提升LLMs在矢量图形处理上的性能。
Read more...
本文由Seungri Yoon等人撰写，题为“Melon Fruit Detection and Quality Assessment Using Generative AI-Based Image Data Augmentation”，探讨了在农业领域中利用生成式人工智能（AI）进行瓜果检测和质量评估的问题。文章指出，在农业中，高质量的图像数据集对于训练深度学习模型如YOLO进行实时水果检测至关重要，但这类数据集往往稀缺。为此，研究者们利用MidJourney和Firefly等工具通过文本到图像、图像到图像的方法生成瓜果图像，并评估了这些AI生成图像的质量和YOLOv9模型的检测性能。研究结果表明，生成式AI能够创建与真实图像极为相似的图像，这对于瓜果检测和质量评估具有重要意义，预示着生成式AI在农业领域的广泛应用前景。
Read more...
本文介绍了一种名为Think-on-Graph 2.0（ToG2.0）的增强型检索增强生成（RAG）框架，旨在通过知识图谱引导的检索，深化和细化信息收集与整合过程。ToG2.0通过将问题与知识图谱对齐并利用其作为导航工具，不仅提高了大型语言模型（LLMs）响应的准确性和可靠性，还展示了混合结构化知识系统在推进LLM推理方面的潜力，使其更接近人类的表现。论文通过在四个公共数据集上的广泛实验，证明了该方法相对于基线的优势。
Read more...
本文介绍了一种名为NTSEBENCH的新型数据集，旨在评估大型深度学习模型（如LLMs和VLMs）在复杂文本、视觉和多模态认知推理能力方面的表现。该数据集包含2,728个多选题，涵盖26个不同的问题类别，来源于印度全国性的NTSE考试。文章还提出了四种不同的建模策略来处理数据集中的多模态（文本和图像）实例，并评估了开源和专有模型的性能。研究结果显示，专有模型在大多数类别中表现优于开源模型，且在多模态问题上的表现尤为突出。此外，文章还探讨了不同建模策略对模型准确性的影响，并强调了多模态推理对于当前最先进的VLMs来说是一个显著的挑战。
Read more...
本文介绍了一种名为DDFAD（Dataset Distillation Framework for Audio Data）的创新框架，专门用于音频数据的分类任务。该框架通过将大型音频数据集压缩成更小的浓缩数据集，从而显著减少训练深度神经网络所需的计算和存储资源。DDFAD的核心创新在于提出了Fused Differential MFCC（FD-MFCC）特征提取方法，并通过匹配训练轨迹（MTT）方法进行数据集浓缩。此外，还提出了一种基于Griffin-Lim算法的音频信号重建算法，以从浓缩的FD-MFCC中重建音频信号。实验结果表明，使用DDFAD浓缩的音频数据集训练的模型，其性能与使用完整数据集训练的模型相当，显示出在持续学习和神经架构搜索等领域的广泛应用前景。
Read more...
本文《Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models》探讨了大型语言模型（LLMs）在社会科学文本标注任务中的应用，特别是在提示（prompt）选择对标注准确性的影响。文章通过实验证明，不同的提示会导致显著的性能差异，并提出了一种自动提示优化方法来系统地生成高质量提示。此外，文章还提供了一个简单的浏览器实现方法，以帮助社会科学家更好地理解和应用这一技术。
Read more...