本文介绍了一种名为WineGraph的创新方法，它是FlavorGraph的扩展版本，专门用于解决食物与葡萄酒搭配的问题。通过整合葡萄酒数据到一个异构图中，WineGraph能够基于口味和侍酒师定义的规则进行食物与葡萄酒的搭配。研究利用了包含50万条食物评论和超过13万条葡萄酒评论的数据集，计算了食物和葡萄酒的口味描述符，并将这些信息用于增强FlavorGraph。实验结果表明，异构图在获取额外信息方面具有潜力，对葡萄酒搭配特别有益。
Read more...
本文通过一项工业案例研究，探讨了在专业字幕翻译场景中利用额外文本上下文（如电影元数据）对机器翻译（MT）质量的影响。研究结果表明，上下文感知模型MTCUE在减少与上下文相关的错误方面显著优于非上下文模型。此外，通过对专业字幕翻译人员的调查，发现上下文不足是MT中的一个重要问题。研究强调了进一步开发完全上下文感知MT系统的必要性。
Read more...
本文介绍了一种名为LAPDOG的新型个性化对话生成模型，该模型通过利用外部知识（如故事数据）来增强角色对话生成。在当前个性化对话生成任务中，角色配置文件通常仅包含四到五个句子，这限制了生成对话的深度和个性化。LAPDOG模型通过一个故事检索器和一个对话生成器来解决这一问题，其中故事检索器从故事文档中检索相关信息以补充角色配置文件，对话生成器则利用对话历史和增强的角色配置文件生成个性化响应。实验结果表明，LAPDOG在CONVAI2数据集上显著优于基线模型，展示了其有效性。
Read more...
本文介绍了德国人工智能研究中心（DFKI）开发的No-IDLE原型系统，该系统由德国联邦教育和研究部资助。No-IDLE旨在通过交互式机器学习（IML）和多模态交互，使深度学习技术对非专家用户更加友好。论文探讨了如何通过用户行为、需求和目标的深入洞察，提高交互式深度学习解决方案的普及性。核心创新包括一种结合多模态交互的交互式机器学习方法，这对于未来与半智能机器的交互至关重要。此外，论文还探讨了深度学习模型在解释性和透明度方面的挑战，以及如何通过人机交互（HCI）和解释性AI（XAI）来解决这些问题。
Read more...
本文探讨了人类与深度神经网络（DNN）在图像表示上的相似性与差异性。通过提出一个通用框架，该研究使得人类和DNN的表示能够进行比较，揭示了DNN在视觉和语义维度上的低维嵌入，与人类相比，DNN更倾向于视觉特征而非语义特征。尽管DNN的维度在模拟实验中显示出一定的可解释性，但与人类的直接比较显示了它们在处理图像时的显著差异。通过使表示直接可比较，本研究揭示了表示对齐的重要挑战，并为提高其可比性提供了方法。
Read more...
本文介绍了一种名为“360◦ in the Wild”的大型全景视频数据集，该数据集从互联网上精心收集，涵盖全球各地的多样环境（如室内外场景）和情境（如静止和移动物体）。数据集包含超过25,000张图像，每张图像都附带相应的相机姿态和深度图。该数据集主要用于单图像深度估计和视图合成两大任务，旨在推动全景图像在深度学习领域的应用，特别是在增强现实、车辆导航、机器人技术和视频监控等领域。
Read more...
本文介绍了一项关于印度尼西亚语中仇恨言论和毒性类型数据集的研究，名为IndoToxic2024。该研究背景是印度尼西亚在过去两年中在线仇恨言论比例增加了十倍，迫切需要有效的检测机制。然而，由于印度尼西亚文本的标记数据有限，特别是对于边缘化少数群体，如什叶派、LGBTQ+和其他少数民族，仇恨言论的报告不足且检测工具理解不足。此外，当前数据集缺乏对主观性的考虑，加剧了这一问题。为了解决这些问题，研究团队引入了IndoToxic2024数据集，这是一个全面的印度尼西亚仇恨言论和毒性分类数据集，包含43,692条由19名不同背景的标注者标注的条目，重点关注印度尼西亚脆弱群体，特别是在该国最热的政治事件——总统选举期间。研究还建立了七个二元分类任务的基线，使用BERT模型（IndoBERTweet）进行仇恨言论分类，实现了0.78的宏观F1分数。此外，研究还展示了如何通过结合人口统计信息来提高大型语言模型gpt-3.5-turbo的零样本性能。然而，研究也警告说，过度强调人口统计信息可能会因数据碎片化而对微调模型性能产生负面影响。
Read more...
本文综述了多模态大型模型（MLMs）的发展现状及其在实现人工通用智能和世界模型方面的潜力。MLMs结合了强大的大型语言模型与多模态学习，能够在不同数据模态间执行复杂任务。文章探讨了MLMs的关键技术，如多模态思维链（M-COT）、多模态指令调优（M-IT）和多模态情境学习（M-ICL），并讨论了多模态模型的基础和特定技术，强调了其在输入/输出模态和设计特性上的应用。尽管取得了显著进展，但开发一个统一的多模态模型仍然是一个挑战。文章还讨论了通过3D生成和具身智能增强世界模拟能力的集成，并提出了通过引入外部规则系统来改进推理和决策的方法。最后，文章概述了未来研究方向，以解决这些挑战并推动该领域的发展。
Read more...
本文探讨了大型语言模型（LLMs）中的模型编辑问题，即如何随着时间的推移更新模型以反映世界的新事实。文章指出，尽管模型编辑在哲学上是一个长期未解决的问题，但在实际应用中，我们需要能够控制语言模型中的知识。文章批评了模型编辑问题的标准表述，并提出了一个正式的测试平台来研究模型编辑。文章首先描述了模型编辑的12个开放问题，这些问题涉及定义问题、开发基准以及假设LLMs具有可编辑的信念。接着，文章介绍了一个基于Wikidata的半合成数据集，用于评估模型编辑，并与一个理想化的贝叶斯代理进行比较，以精确量化语言模型在信念修正方面的不足。文章鼓励进一步研究，探索在这些设置中可以与黄金标准进行比较的情况。
Read more...
本文探讨了大型语言模型（LLMs）在科学写作中的应用，特别是它们如何影响性别偏见和个性特征的表现。研究通过分析LLMs生成的科学摘要与人类作者的摘要，使用语言探究和词数统计（LIWC）框架来评估文本的词汇、心理和社会特征。研究发现，尽管LLMs能够生成与人类写作风格相似的文本，但它们在某些特征上表现出显著的性别偏见，特别是在词汇使用和情感表达上。研究强调了开发更加包容和无偏见的LLMs的重要性，以促进学术讨论的多样性和公平性。
Read more...