本文探讨了RLHF（Reinforcement Learning from Human Feedback）对齐的语言模型（LMs）在执行基础任务——下一个令牌预测时面临的挑战。尽管这些模型在基准测试和长文本生成方面表现出色，但它们在预测任意文档中的下一个令牌时遇到了困难。文章提出，这种性能下降可能是由于RLHF模型在生成连贯长文本时通过隐式蓝图限制了随机性，从而集中概率于特定锚点跨度，限制了模型生成不包含这些跨度的文档的能力。文章进一步分析了这种权衡在当前最有效的代理模型中的表现，并探讨了即使在改进对齐技术的情况下，为何这种权衡可能仍然是预测模型和行动模型之间的基本权衡。
Read more...
本文介绍了一种名为MMedAgent的多模态医疗代理，这是首个专门为医疗领域设计的AI代理。MMedAgent通过整合多种医疗工具，能够处理跨越不同成像模式的多种医疗任务。论文通过构建一个包含六种医疗工具的指令调优数据集，使代理能够根据用户输入选择最合适的工具。实验结果显示，MMedAgent在多种医疗任务上的表现优于现有的开源方法和闭源模型GPT-4o，并且能够高效地更新和集成新的医疗工具。
Read more...
本文探讨了在仅有少量标注音乐数据的情况下，使用合成音乐片段训练音乐标签系统的可行性。研究团队发布了GTZAN-synth，一个遵循GTZAN数据集分类体系但数据量是其十倍的合成数据集。实验表明，仅添加合成数据到GTZAN训练集并未显著提升性能，但通过域适应、迁移学习和微调策略，合成数据的使用能够提高分类准确性。这一研究为未来在音乐信息检索领域的进一步探索提供了基础。
Read more...
本文由Bowen Zhang等人提出，针对图分类领域中的关键挑战，特别是在图数据处理中的适应性、可扩展性和泛化性问题，提出了一种名为Core Knowledge Learning (CKL)的新框架。该框架通过学习图的核心子图知识，有效地解决了图分类中的域适应、标签不一致和小样本预测等难题。CKL框架包括核心子图知识子模块、图域适应模块和少样本学习模块，每个模块都针对特定的挑战进行优化。实验结果表明，CKL在多个数据集和评估指标上显著优于现有的最先进方法，显示出其在图分类任务中的高效性和先进性。
Read more...
本文介绍了一种名为SMMQG的合成多模态问题生成框架，该框架利用检索器、大型语言模型（LLM）和大型多模态模型（LMM）的相互作用，直接从多模态文档中生成符合特定风格和模态的问题和答案对。SMMQG能够生成包含文本、表格和图像等多种模态的问题，并通过人工研究和数据集一致性分析，证明了其生成的数据质量与人工标注的MMQA数据集相当，且在下游评估中显示出强烈的一致性。
Read more...
本文由Zixian Zhang和Takfarinas Saber共同撰写，旨在评估大型语言模型（LLMs）在代码克隆检测任务中的性能。研究特别关注了GPT-3.5和GPT-4两款先进模型，通过对比它们在不同类型和相似度级别的代码克隆检测中的表现，揭示了GPT-4在识别各种代码克隆类型上的优越性。此外，研究还探讨了模型在处理人类编写与LLM生成的代码克隆时的性能差异，指出了LLMs在识别复杂代码克隆方面的局限性，并强调了持续改进LLMs能力的必要性。
Read more...
本文探讨了大型语言模型（LLMs）在情境学习（in-context learning）中对开放和封闭问题的表现，特别是在问题的新颖性和难度方面的影响。研究通过创建一个包含科学难题的新基准数据集，发现情境的相关性并不总是有助于提高模型性能，尤其是在开放问题和高难度或新颖问题中。这一发现揭示了LLMs处理不同类型问题的方式的差异，并强调了在不同类型问题中评估情境学习的必要性。此外，研究还提出了在检索增强生成（RAG）系统中如何最优选择情境的新问题。
Read more...
本文探讨了利用大型语言模型（LLMs）自动构建和优化适应规则的方法。适应规则是自适应系统的核心，但设计和优化这些规则通常涉及在复杂的设计空间中进行搜索。本文提出了一种基于LLMs的方法，通过模拟环境和应用系统的交互，利用LLMs的常识和推理能力来优化适应规则。初步实验在SWIM平台上验证了该方法的有效性和局限性。
Read more...
本文探讨了大型语言模型（LLMs）在实际应用中的推理能力提升问题，特别是通过几何视角来理解LLMs的推理机制。文章通过分析LLMs的自注意力图的密度与其多层感知器（MLP）块输入的内在维度之间的关系，展示了高内在维度如何增强LLMs的表达能力。此外，文章还通过理论分析和实验证据，证明了这种几何框架与近期旨在提升LLMs推理能力的方法之间的关联。
Read more...
本文介绍了一种名为GRASP的新型基准测试，用于评估大型语言模型（LLMs）在结构化网格环境中的常识空间推理（CSR）能力。GRASP包含16,000个基于网格的环境，每个环境包含五种不同的能量分布、两种障碍配置、两种代理起始位置和三种代理约束。通过比较经典算法（如随机游走和贪心搜索）与先进的LLMs（如GPT-3.5-Turbo和GPT-4o），研究发现即使是最先进的LLMs在解决这些空间推理任务时也面临挑战。GRASP的提出为未来在LLM能力方面的研究和开发奠定了基础，特别是在提高模型在复杂空间推理任务中的效率和准确性方面。
Read more...