Meta 3D Gen（3DGen）是一项尖端技术，旨在通过文本描述快速生成高质量的3D资产。该技术解决了从文本到3D内容生成的问题，这在视频游戏、增强现实和虚拟现实应用以及电影特效设计中是一个耗时且具有挑战性的过程。3DGen通过集成Meta 3D AssetGen和Meta 3D TextureGen两个关键组件，实现了在不到一分钟内生成具有高提示保真度和高质量形状及纹理的3D资产。此外，3DGen支持物理基础渲染（PBR），这对于真实世界应用中的3D资产重新照明至关重要。该技术的前景在于其能够支持个性化、用户生成的3D内容创建，以及在虚拟现实和增强现实中的广泛应用。
Read more...
本文探讨了尼日利亚英语电影（Nollywood）中的语音识别（ASR）和毒性检测（TX）问题。由于尼日利亚英语的方言特性，这些电影对许多英语母语者来说难以理解。论文提出了一个先进的语音识别模型，旨在将尼日利亚英语翻译成美国英语，并使用最新的毒性检测技术来评估电影中的语言毒性。研究旨在提高对这些视频中经常被忽视的文本的理解，因为许多尼日利亚人在家中使用豪萨语等本土语言。
Read more...
本文探讨了RLHF（Reinforcement Learning from Human Feedback）对齐的语言模型（LMs）在执行基础任务——下一个令牌预测时面临的挑战。尽管这些模型在基准测试和长文本生成方面表现出色，但它们在预测任意文档中的下一个令牌时遇到了困难。文章提出，这种性能下降可能是由于RLHF模型在生成连贯长文本时通过隐式蓝图限制了随机性，从而集中概率于特定锚点跨度，限制了模型生成不包含这些跨度的文档的能力。文章进一步分析了这种权衡在当前最有效的代理模型中的表现，并探讨了即使在改进对齐技术的情况下，为何这种权衡可能仍然是预测模型和行动模型之间的基本权衡。
Read more...
本文介绍了一种名为MMedAgent的多模态医疗代理，这是首个专门为医疗领域设计的AI代理。MMedAgent通过整合多种医疗工具，能够处理跨越不同成像模式的多种医疗任务。论文通过构建一个包含六种医疗工具的指令调优数据集，使代理能够根据用户输入选择最合适的工具。实验结果显示，MMedAgent在多种医疗任务上的表现优于现有的开源方法和闭源模型GPT-4o，并且能够高效地更新和集成新的医疗工具。
Read more...
本文探讨了在仅有少量标注音乐数据的情况下，使用合成音乐片段训练音乐标签系统的可行性。研究团队发布了GTZAN-synth，一个遵循GTZAN数据集分类体系但数据量是其十倍的合成数据集。实验表明，仅添加合成数据到GTZAN训练集并未显著提升性能，但通过域适应、迁移学习和微调策略，合成数据的使用能够提高分类准确性。这一研究为未来在音乐信息检索领域的进一步探索提供了基础。
Read more...
本文由Bowen Zhang等人提出，针对图分类领域中的关键挑战，特别是在图数据处理中的适应性、可扩展性和泛化性问题，提出了一种名为Core Knowledge Learning (CKL)的新框架。该框架通过学习图的核心子图知识，有效地解决了图分类中的域适应、标签不一致和小样本预测等难题。CKL框架包括核心子图知识子模块、图域适应模块和少样本学习模块，每个模块都针对特定的挑战进行优化。实验结果表明，CKL在多个数据集和评估指标上显著优于现有的最先进方法，显示出其在图分类任务中的高效性和先进性。
Read more...
本文介绍了一种名为SMMQG的合成多模态问题生成框架，该框架利用检索器、大型语言模型（LLM）和大型多模态模型（LMM）的相互作用，直接从多模态文档中生成符合特定风格和模态的问题和答案对。SMMQG能够生成包含文本、表格和图像等多种模态的问题，并通过人工研究和数据集一致性分析，证明了其生成的数据质量与人工标注的MMQA数据集相当，且在下游评估中显示出强烈的一致性。
Read more...
本文由Zixian Zhang和Takfarinas Saber共同撰写，旨在评估大型语言模型（LLMs）在代码克隆检测任务中的性能。研究特别关注了GPT-3.5和GPT-4两款先进模型，通过对比它们在不同类型和相似度级别的代码克隆检测中的表现，揭示了GPT-4在识别各种代码克隆类型上的优越性。此外，研究还探讨了模型在处理人类编写与LLM生成的代码克隆时的性能差异，指出了LLMs在识别复杂代码克隆方面的局限性，并强调了持续改进LLMs能力的必要性。
Read more...
本文探讨了大型语言模型（LLMs）在情境学习（in-context learning）中对开放和封闭问题的表现，特别是在问题的新颖性和难度方面的影响。研究通过创建一个包含科学难题的新基准数据集，发现情境的相关性并不总是有助于提高模型性能，尤其是在开放问题和高难度或新颖问题中。这一发现揭示了LLMs处理不同类型问题的方式的差异，并强调了在不同类型问题中评估情境学习的必要性。此外，研究还提出了在检索增强生成（RAG）系统中如何最优选择情境的新问题。
Read more...
本文探讨了利用大型语言模型（LLMs）自动构建和优化适应规则的方法。适应规则是自适应系统的核心，但设计和优化这些规则通常涉及在复杂的设计空间中进行搜索。本文提出了一种基于LLMs的方法，通过模拟环境和应用系统的交互，利用LLMs的常识和推理能力来优化适应规则。初步实验在SWIM平台上验证了该方法的有效性和局限性。
Read more...