本文介绍了一种名为LAPDOG的新型个性化对话生成模型，该模型通过利用外部知识（如故事数据）来增强角色对话生成。在当前个性化对话生成任务中，角色配置文件通常仅包含四到五个句子，这限制了生成对话的深度和个性化。LAPDOG模型通过一个故事检索器和一个对话生成器来解决这一问题，其中故事检索器从故事文档中检索相关信息以补充角色配置文件，对话生成器则利用对话历史和增强的角色配置文件生成个性化响应。实验结果表明，LAPDOG在CONVAI2数据集上显著优于基线模型，展示了其有效性。
Read more...
本文介绍了德国人工智能研究中心（DFKI）开发的No-IDLE原型系统，该系统由德国联邦教育和研究部资助。No-IDLE旨在通过交互式机器学习（IML）和多模态交互，使深度学习技术对非专家用户更加友好。论文探讨了如何通过用户行为、需求和目标的深入洞察，提高交互式深度学习解决方案的普及性。核心创新包括一种结合多模态交互的交互式机器学习方法，这对于未来与半智能机器的交互至关重要。此外，论文还探讨了深度学习模型在解释性和透明度方面的挑战，以及如何通过人机交互（HCI）和解释性AI（XAI）来解决这些问题。
Read more...
本文探讨了人类与深度神经网络（DNN）在图像表示上的相似性与差异性。通过提出一个通用框架，该研究使得人类和DNN的表示能够进行比较，揭示了DNN在视觉和语义维度上的低维嵌入，与人类相比，DNN更倾向于视觉特征而非语义特征。尽管DNN的维度在模拟实验中显示出一定的可解释性，但与人类的直接比较显示了它们在处理图像时的显著差异。通过使表示直接可比较，本研究揭示了表示对齐的重要挑战，并为提高其可比性提供了方法。
Read more...
本文介绍了一种名为“360◦ in the Wild”的大型全景视频数据集，该数据集从互联网上精心收集，涵盖全球各地的多样环境（如室内外场景）和情境（如静止和移动物体）。数据集包含超过25,000张图像，每张图像都附带相应的相机姿态和深度图。该数据集主要用于单图像深度估计和视图合成两大任务，旨在推动全景图像在深度学习领域的应用，特别是在增强现实、车辆导航、机器人技术和视频监控等领域。
Read more...
本文介绍了一项关于印度尼西亚语中仇恨言论和毒性类型数据集的研究，名为IndoToxic2024。该研究背景是印度尼西亚在过去两年中在线仇恨言论比例增加了十倍，迫切需要有效的检测机制。然而，由于印度尼西亚文本的标记数据有限，特别是对于边缘化少数群体，如什叶派、LGBTQ+和其他少数民族，仇恨言论的报告不足且检测工具理解不足。此外，当前数据集缺乏对主观性的考虑，加剧了这一问题。为了解决这些问题，研究团队引入了IndoToxic2024数据集，这是一个全面的印度尼西亚仇恨言论和毒性分类数据集，包含43,692条由19名不同背景的标注者标注的条目，重点关注印度尼西亚脆弱群体，特别是在该国最热的政治事件——总统选举期间。研究还建立了七个二元分类任务的基线，使用BERT模型（IndoBERTweet）进行仇恨言论分类，实现了0.78的宏观F1分数。此外，研究还展示了如何通过结合人口统计信息来提高大型语言模型gpt-3.5-turbo的零样本性能。然而，研究也警告说，过度强调人口统计信息可能会因数据碎片化而对微调模型性能产生负面影响。
Read more...
本文综述了多模态大型模型（MLMs）的发展现状及其在实现人工通用智能和世界模型方面的潜力。MLMs结合了强大的大型语言模型与多模态学习，能够在不同数据模态间执行复杂任务。文章探讨了MLMs的关键技术，如多模态思维链（M-COT）、多模态指令调优（M-IT）和多模态情境学习（M-ICL），并讨论了多模态模型的基础和特定技术，强调了其在输入/输出模态和设计特性上的应用。尽管取得了显著进展，但开发一个统一的多模态模型仍然是一个挑战。文章还讨论了通过3D生成和具身智能增强世界模拟能力的集成，并提出了通过引入外部规则系统来改进推理和决策的方法。最后，文章概述了未来研究方向，以解决这些挑战并推动该领域的发展。
Read more...
本文探讨了大型语言模型（LLMs）中的模型编辑问题，即如何随着时间的推移更新模型以反映世界的新事实。文章指出，尽管模型编辑在哲学上是一个长期未解决的问题，但在实际应用中，我们需要能够控制语言模型中的知识。文章批评了模型编辑问题的标准表述，并提出了一个正式的测试平台来研究模型编辑。文章首先描述了模型编辑的12个开放问题，这些问题涉及定义问题、开发基准以及假设LLMs具有可编辑的信念。接着，文章介绍了一个基于Wikidata的半合成数据集，用于评估模型编辑，并与一个理想化的贝叶斯代理进行比较，以精确量化语言模型在信念修正方面的不足。文章鼓励进一步研究，探索在这些设置中可以与黄金标准进行比较的情况。
Read more...
本文探讨了大型语言模型（LLMs）在科学写作中的应用，特别是它们如何影响性别偏见和个性特征的表现。研究通过分析LLMs生成的科学摘要与人类作者的摘要，使用语言探究和词数统计（LIWC）框架来评估文本的词汇、心理和社会特征。研究发现，尽管LLMs能够生成与人类写作风格相似的文本，但它们在某些特征上表现出显著的性别偏见，特别是在词汇使用和情感表达上。研究强调了开发更加包容和无偏见的LLMs的重要性，以促进学术讨论的多样性和公平性。
Read more...
本文探讨了利用大型语言模型（LLMs）辅助视频内容分析的潜力，特别是在分析与抑郁症相关的YouTube短视频方面。研究提出了一种新的LLM辅助多模态内容分析工作流程，包括代码本设计、提示工程、LLM处理和人工评估。通过分析203个从25个YouTube视频中提取的关键帧，研究比较了LLM与两个人类编码员的标注结果，发现LLM在对象和活动标注方面具有更高的准确性。此外，研究还探讨了LLM在视频标注中的潜力和局限性，并讨论了未来研究的机会和挑战，以及基于LLM辅助视频分析的伦理问题。
Read more...
本文探讨了大型语言模型（LLMs）在复杂推理任务中的知识利用方式。为了深入理解LLMs如何利用内部知识进行推理，研究者提出了一种将复杂现实问题分解为图结构的方法，其中每个问题作为一个节点，其解决所需的背景知识作为父节点。研究开发了DEPTHQA数据集，通过三个深度层次（概念知识、程序知识、战略知识）来分解问题，并基于层次图结构量化了LLMs在简单子问题与复杂问题上的性能差异（前向差异），以及在复杂问题与简单问题上的性能差异（后向差异）。研究发现，较小模型在这些差异上表现更为显著，而通过多轮交互引导模型从简单到复杂问题的过程可以提高性能，强调了知识推理中结构化中间步骤的重要性。这项工作不仅增强了我们对LLM推理能力的理解，还提出了提升其问题解决能力的方法。
Read more...