本文介绍了一种名为MimicMotion的高质量人体运动视频生成框架，该框架通过置信度感知姿态引导和渐进式潜在融合策略，能够生成任意长度的高质量视频。文章针对视频生成中的可控性、视频长度和细节丰富度等挑战，提出了一系列创新方法，包括置信度感知的姿态引导、基于姿态置信度的区域损失放大以及渐进式潜在融合策略，以确保视频帧质量高且时间平滑。实验结果和用户研究表明，MimicMotion在多个方面显著优于现有方法。
Read more...
本文介绍了一种名为“Pairwise Difference Learning for Classification”（PDL分类器）的新型元学习技术，由Mohamed Karim Belaid等人提出。该技术通过学习两个实例之间的差异来预测各自的结果，从而将多类分类问题转化为单一的二元分类问题。PDL分类器在大量实验中显示出优于现有最先进方法的预测性能，并提供了一个易于使用且公开可用的Python包实现。
Read more...
本文介绍了一种名为SHORTCUTSBENCH的大型基准测试，用于评估基于API的代理在处理具有不同难度级别、多样任务类型和实际需求的任务时的能力。该基准测试包括来自Apple Inc.操作系统的丰富真实API、来自快捷方式的精炼用户查询、快捷方式开发者人工标注的高质量动作序列以及关于原始参数类型、枚举参数类型、前一动作输出和需要从系统或用户请求必要信息的参数的准确填充值。通过评估使用领先的开源和闭源大型语言模型（LLMs）构建的代理，发现这些代理在处理与API选择、参数填充和从系统和用户请求必要信息相关的复杂查询时存在显著局限性。这些发现强调了基于API的代理在有效满足真实和复杂用户查询方面面临的挑战。所有数据集、代码和实验结果将在GitHub上公开。
Read more...
本文是对人工智能系统故障分析和故障注入的综述，旨在探索和评估人工智能系统故障分析和故障注入的现有研究。文章对相关论文和代码库进行了系统回顾，分析了故障分析和故障注入在人工智能系统不同层中的应用，并指出了现有研究的不足和未来的研究方向。
Read more...
本文介绍了一项名为GLOBALRG的基准测试，旨在评估视觉-语言模型（VLMs）在非西方文化图像上的表现。由于训练数据集中西方文化图像的过度代表性，VLMs在处理非西方文化图像时表现不佳。GLOBALRG包含两个任务：跨文化通用概念检索和文化特定视觉定位。通过广泛的模型评估，研究发现模型在不同文化间的性能存在显著差异，强调了提升VLMs多元文化理解能力的必要性。
Read more...
本文介绍了一种名为AnomaLLMy的新技术，用于自动检测大型语言模型（LLMs）中的异常标记。该技术通过API访问，利用低置信度的单标记预测作为成本效益指标，识别模型行为中的不规则性。在GPT-4的cl100k_base数据集上验证，AnomaLLMy检测到413个主要和65个次要异常，证明了该方法的高效性，仅花费了$24.39的API信用。这项研究有望增强LLMs的鲁棒性和准确性，特别是在标记器的开发和评估方面。
Read more...
本论文探讨了在大规模语言模型（LLMs）中量化不确定性的重要性，特别是在高风险应用中需要可靠输出的场景。传统的概率模型和集成技术在处理LLMs生成的高维复杂输出时面临挑战。为此，研究提出了一种新颖的几何方法，利用凸包分析来量化模型输出的分散性和变异性。该方法通过将响应嵌入转换为高维空间，并使用主成分分析（PCA）和密度聚类（DBSCAN）算法进行处理，从而计算每个聚类的凸包面积，以此作为不确定性的度量。实验结果表明，模型的不确定性取决于提示的复杂性、模型本身以及温度设置。
Read more...
本文介绍了一种名为ToolBH的综合诊断基准，用于评估工具增强型大型语言模型（LLMs）中的幻觉问题。由于缺乏相关基准，社区对这些模型中的幻觉问题理解不足。ToolBH基准通过深度和广度两个角度评估LLMs的幻觉现象。在深度方面，提出多层次诊断过程，包括可解性检测、解决方案规划和缺失工具分析。在广度方面，考虑三种基于工具集特征的场景：缺失必要工具、潜在工具和功能受限工具。此外，通过多轮人工注释收集了700个评估样本，结果显示ToolBH基准对现有先进模型如Gemini-1.5-Pro和GPT-4o提出了显著挑战。本文的诊断分析指出，模型错误的主要原因是评估任务可解性。此外，开放权重模型在冗长回复中性能下降，而专有模型在较长推理中表现更佳。
Read more...
本文介绍了一种基于注意力机制的双模态情感分类方法，由Mazen Elabd和Sardar Jaf在2024年提出。该研究主要针对从文本和语音数据中自动识别人类情感的挑战，提出了一种新颖的深度学习架构，该架构结合了文本和语音信息，通过注意力机制增强特征提取能力，从而提高情感分类的准确性。研究结果表明，这种双模态方法在情感分类任务上优于单一模态方法，并且其提出的注意力机制在多个基准测试中达到了最先进的性能。
Read more...
本文介绍了一种名为Function+Data Flow (FDF)的领域特定语言(DSL)，旨在简化数字孪生(DT)中机器学习(ML)管道的描述和验证。数字孪生技术在物理系统的开发中越来越依赖于人工智能，特别是在数据源的整合和计算效率高的降维模型创建方面。尽管数字孪生在不同应用领域中采用了类似的技术，如模型阶数减少和混合数据模型化，但当前的开发实践往往是临时的，使得设计AI管道变得复杂且耗时。FDF通过将函数视为一等公民，使得学习到的模型能够被有效操作，从而简化了数字孪生的设计和验证过程。本文通过两个不同领域的具体案例——结构塑性应变预测和电磁轴承行为建模——展示了FDF的优势。
Read more...