本文介绍了一个名为FaceCaption-15M的大规模多模态面部图像-文本数据集，该数据集包含超过1500万对面部图像及其自然语言描述。该数据集的构建旨在促进面部相关任务的研究，如面部属性识别、文本-图像检索和基于草图的面部图像检索。通过综合分析图像质量、文本自然度、文本复杂度和文本-图像相关性，证明了FaceCaption-15M的优越性。此外，本文还训练了一个面部语言-图像预训练模型（FLIP），并在多个面部相关任务上取得了最先进的结果。该数据集和模型的代码和数据已公开，以促进进一步的研究和应用。
Read more...
本文介绍了一项名为GTA（General Tool Agents）的基准测试，旨在评估大型语言模型（LLM）在实际工具使用场景中的能力。GTA通过真实用户查询、实际部署的工具和多模态输入来模拟真实世界的问题解决环境。论文提出了229个真实世界任务和可执行的工具链来评估主流LLM，发现即使是先进的模型如GPT-4也难以完成一半以上的任务，这揭示了当前LLM在实际工具使用能力上的瓶颈，并为未来发展通用工具代理提供了方向。
Read more...
本文介绍了一种名为LYNX的先进开源幻觉评估模型，旨在解决大型语言模型（LLM）在生成信息时可能出现的不支持或与检索内容相矛盾的问题。LYNX模型通过高级推理能力，在复杂的现实世界幻觉场景中进行检测。为了评估LYNX，研究团队提出了HaluBench，一个包含15k样本的综合幻觉评估基准，涵盖多个真实世界领域。实验结果显示，LYNX在HaluBench上优于GPT-4o、Claude-3-Sonnet以及其他开源和闭源LLM-as-a-judge模型。此外，LYNX和HaluBench及其评估代码已公开发布，供公众访问。
Read more...
本文由Seonwhee Jin撰写，探讨了在图像中存在多个物体时，如何有效地从图像中提取感兴趣区域（ROI）和全局语义。文章针对物体检测任务中准确地定位和分类几乎无限类别的食物图像的挑战，提出了一种新颖的方法。通过使用segment-anything模型（SAM）对食物进行ROI分割，并将非ROI区域遮蔽为黑色像素，简化了问题为单一分类任务。进一步，文章引入了一种结合架构RveRNet，该架构包含ROI、extra-ROI和集成模块，能够同时考虑ROI和全局上下文，显著提高了对模糊食物图像的分类性能。特别是当RveRNet的模块采用DeiT并结合CNN的知识蒸馏时，表现最佳。此外，文章还探讨了架构如何对抗输入噪声，如排列和位移，结果显示在CNN教师的知识蒸馏到DeiT和DeiT的固有强度之间存在权衡。代码已公开在GitHub上。
Read more...
本文探讨了从点云数据中进行表面重建的基本挑战，特别是在计算机图形学和医学成像领域。文章介绍了一种名为Square-Highway（SqrHw）的新型Highway网络变体，并将其应用于多层感知器中，通过多种数值示例（如球体、人手和斯坦福兔子的重建）来评估其性能。研究分析了隐藏层数量、内部和外部点以及数据分布等因素对表面重建质量的影响。结果显示，SqrHw架构在收敛速度和重建表面质量方面优于其他神经网络配置。此外，SqrHw还能在缺失数据上预测表面，这对于医学成像等挑战性应用具有重要价值。
Read more...
本文探讨了大型语言模型（LLMs）在估计德国公众意见方面的应用，特别是通过模拟选民投票行为。研究通过生成与2017年德国纵向选举研究（GLES）受访者个体特征相匹配的合成样本，使用GPT-3.5预测每位受访者的投票选择，并与基于调查的估计进行比较。研究发现，GPT-3.5在预测公民投票选择方面并不准确，倾向于偏向绿党和左翼党。尽管LLM捕捉到了“典型”选民子群体的趋势，如党派人士，但它未能捕捉到影响个体选民选择的复杂因素。研究通过在一个新的背景下检验LLM对投票行为的预测，为LLM在研究公众意见的条件方面的研究做出了贡献。研究结果指出了LLM在公众意见估计中的差异，并强调了应用LLM进行公众意见估计的局限性。
Read more...
本文介绍了一种将自适应进化策略（ES）与大型语言模型（LLM）相结合的方法，旨在提高复杂优化过程的可解释性。通过使用配备重启机制的自适应ES，有效地导航基准函数的挑战性景观，捕获优化旅程的详细日志，包括适应度演变、步长调整和由于停滞引起重启事件。然后利用LLM处理这些日志，生成简洁、用户友好的总结，突出关键方面，如收敛行为、最佳适应度成就和遇到局部最优。案例研究在Rastrigin函数上展示了我们的方法如何使ES优化的复杂性透明且易于理解。研究结果强调了使用LLM来弥合高级优化算法与其可解释性之间差距的潜力。
Read more...
本文探讨了大型语言模型（LLMs）中置信度（credences）的归属问题。文章首先提出了三个主要观点：语义上，LLM的置信度归属应被字面理解为科学家对LLM置信度的真实描述；形而上学上，LLM置信度的存在是合理的，尽管当前证据尚不充分；认识论上，现有评估LLM置信度的实验技术存在重大怀疑。文章详细分析了LLM置信度的语义解释、存在性以及评估技术的可靠性，并指出即使LLMs具有置信度，现有的评估技术也可能无法准确反映这些置信度。
Read more...
本文探讨了大型语言模型（LLMs）在职业兴趣方面的表现，通过应用职业网络的兴趣分析简表（OIP）来评估LLMs的假设职业兴趣和能力。研究发现，LLMs表现出明显的职业兴趣倾向，尤其是在社会和艺术领域，但这些兴趣与其在相关职业中的实际能力不符。这一新颖的方法揭示了LLMs在专业环境中的人类化倾向，并促进了对其自我认知和能力匹配的重新评估。
Read more...
本文对九种用于强化学习（RL）研究的物理引擎进行了全面评述，旨在指导研究人员选择适合创建模拟物理环境的工具。文章评估了Brax、Chrono、Gazebo、MuJoCo、ODE、PhysX、PyBullet、Webots和Unity等框架，基于其流行度、功能范围、质量、易用性和RL能力。研究发现MuJoCo因其性能和灵活性成为领先框架，尽管存在易用性挑战。Unity则因其易用性而受到关注，但在可扩展性和模拟保真度方面有所欠缺。文章呼吁进一步发展以提高模拟引擎的易用性和性能，并强调了RL研究中透明度和可重复性的重要性。
Read more...