本文由乔治亚理工学院电气与计算机工程系的Biswadeep Chakraborty和Saibal Mukhopadhyay共同撰写，探讨了尖峰神经网络（SNNs）在神经形态计算领域的最新进展。文章通过引入神经元和突触动力学的异质性，显著提升了SNNs的性能，特别是在能源效率和生物合理性模型方面。研究通过严格的分析框架和创新的修剪方法，如Lyapunov噪声修剪（LNP），展示了异质性如何不仅增强分类性能，还减少尖峰活动，从而构建更高效和鲁棒的网络。文章总结了SNNs在超越传统神经网络的同时保持较低计算成本的潜力，并为研究人员和实践者提供了这些关键发展的全面概述。
Read more...
本文由Joshua T. S. Hewson、Sabina J. Sloman和Marina Dubova共同撰写，探讨了人类学习个体事件和可概括规则的能力，并强调了这两种学习在时间上的保持能力。传统观点认为，学习个体事件和规则以及学习和记忆是两个需要独立互补学习系统的竞争过程。本文挑战了这一观点，提出这些权衡源于容量限制而非认知过程的内在不兼容性。通过一个关联学习任务，研究显示一个具有过剩表征容量的系统能够同时学习和记忆事件和规则。
Read more...
本文介绍了一个名为TAPVid-3D的新基准，用于评估在3D空间中长时间跟踪任意点的任务（TAP-3D）。尽管在二维（TAP）点跟踪方面已有多个基准用于评估真实世界视频的性能，如TAPVid-DAVIS，但在三维点跟踪方面尚无此类基准。为此，本文利用现有视频素材构建了一个包含4000多个真实世界视频的3D点跟踪基准，涵盖多种物体类型、运动模式以及室内外环境。为了衡量TAP-3D任务的性能，本文制定了一系列扩展自TAP的Jaccard基础指标，以处理模型间深度尺度模糊、遮挡和多轨迹时空平滑性的复杂性。此外，本文手动验证了大量轨迹以确保视频注释的正确性，并通过构建现有跟踪模型的竞争性基线来评估TAP-3D任务的当前状态。本文预计，这一基准将有助于提升我们通过单目视频理解精确3D运动和表面变形的能力。
Read more...
本文由YUHANG LU, ZEWEI XU, 和 TOURADJ EBRAHIMI 撰写，探讨了基于深度卷积神经网络的人脸识别系统在验证和识别任务中的应用。尽管这些系统在准确性上取得了显著进步，但它们通常被批评为缺乏可解释性。文章提出了一种全面的视觉显著性解释框架，旨在理解AI人脸识别系统的决策过程。该框架首先定义了基于视觉显著性图的解释方法，并针对人脸验证和识别两种常见情况分别进行了详细阐述。随后，提出了一种名为CorrRISE的新型模型无关解释方法，该方法能够生成显著性图，揭示任意给定人脸图像之间的相似和不相似区域。此外，文章还设计了一种新的评估方法，用于量化和比较通用视觉显著性解释方法在人脸识别中的性能。实验结果表明，CorrRISE方法在生成有洞察力的显著性图方面表现优异，特别是在相似性图方面，与现有最先进的解释方法相比具有明显优势。
Read more...
本文介绍了一种名为ANOLE的开放、自回归、原生大型多模态模型，用于交错图像-文本生成。ANOLE旨在解决现有开源大型多模态模型（LMMs）的局限性，如缺乏原生集成、仅支持单模态生成以及依赖单独的扩散模型进行视觉建模和生成。通过采用创新的微调策略，ANOLE展示了高质量、连贯的多模态生成能力，并已开源其模型、训练框架和指令调整数据。
Read more...
本文介绍了一种基于联邦学习和区块链技术的可信AIoT定位系统DFLoc。该系统针对智能建筑中的室内定位需求，通过利用RF传感器和基于指纹的方法，解决了传统集中式学习系统中的隐私和安全问题，如单点故障和恶意攻击。DFLoc通过去中心化的方式，将模型分发和聚合任务从中央服务器转移到所有客户端，并通过区块链内的模型更新验证机制，增强了系统的安全性和准确性。实验结果表明，DFLoc在3D定位任务中表现出色，具有较强的抵抗单点故障和恶意攻击的能力。
Read more...
本文介绍了一种名为Igea的解码器专用语言模型，该模型专门设计用于意大利语的生物医学文本生成。Igea是基于Minerva模型开发的，通过在多样化的意大利医学文本语料库上进行持续预训练，提供了三种不同大小的模型（350 million、1 billion和3 billion参数），以平衡计算效率和性能。论文详细讨论了模型的开发、训练和评估过程，并强调了其在意大利生物医学自然语言处理（NLP）领域的先进性和应用前景。
Read more...
本文介绍了一种名为InsightBench的基准数据集，旨在评估商业分析代理通过多步骤洞察生成的能力。该数据集包含31个代表不同商业用例的数据集，每个数据集都附有一组精心策划的洞察。与现有专注于回答单一查询的基准不同，InsightBench评估代理基于其执行端到端数据分析的能力，包括制定问题、解释答案和生成洞察摘要及可操作步骤。此外，本文还提出了一个名为AgentPoirot的基线数据分析代理，该代理能够执行端到端数据分析，并在InsightBench上展示了优于现有方法（如Pandas Agent）的性能。
Read more...
本文探讨了利用大型语言模型（LLMs）和人在回路（Human-in-the-Loop）方法优化和评估增强检索的问答聊天机器人的过程。通过与SAP SE的领域专家合作，开发了一个用于处理员工查询的高效人力资源支持聊天机器人。研究重点包括数据集收集、提示优化和生成输出的评估，通过增强LLM驱动的聊天机器人的响应质量和探索替代检索方法，创建了一个高效、可扩展和灵活的工具。实验和评估结果表明，GPT-4在性能上优于其他模型，并能通过内部推理能力克服数据不一致性。此外，通过专家分析，发现无参考评估指标如GEval和Prometheus与人类评估的可靠性高度一致。
Read more...
本文由Hannah K. Bako等研究者撰写，探讨了大型语言模型（LLMs）在自然语言表达中生成数据可视化的语义分析能力。研究背景在于自动生成数据可视化需要对数据表达有深刻的语义理解，包括对数据属性的隐式和显式引用、可视化任务以及必要的数据准备步骤。尽管自然语言接口（NLIs）在数据可视化方面已有所探索，但仍存在由于人类语言固有的不确定性带来的挑战。LLMs的最新进展为解决这些挑战提供了途径，但其提取相关语义信息的能力尚未得到充分探索。本研究评估了四款公开可用的LLMs（GPT-4、Gemini-Pro、Llama3和Mixtral），研究它们在存在不确定性的情况下理解表达并识别相关数据上下文和可视化任务的能力。研究发现，尽管LLMs对不确定性敏感，但它们能够提取相关的数据上下文，而在推断可视化任务方面则表现不佳。基于这些结果，研究强调了未来使用LLMs进行可视化生成研究的方向。
Read more...