摘要

本文介绍了一种名为 HEMM 的多模态模型评估框架，该框架通过新的多模态技能、信息流和现实世界用例分类法，能够全面分析多模态模型。HEMM 可用于评估多模态基础模型在基本技能、信息流和现实世界用例三个维度上的能力。通过对 30 个任务的综合实验，研究人员确定了当今模型面临挑战的关键数据集维度，并分析了不同建模维度对下游任务性能的影响。

原理

HEMM 评估框架包括三个维度：基本技能、信息流和现实世界用例。基本技能包括学习跨模态交互、细粒度对齐、多步推理和使用外部知识等内部能力。信息流研究任务中多模态内容的变化，包括查询、翻译、编辑和融合。现实世界用例涵盖了多媒体、情感计算、自然科学、医疗保健和人机交互等领域的特定挑战。

流程

首先，确定要评估的多模态基础模型。然后，根据 HEMM 框架的三个维度，选择相应的数据集和任务进行评估。在评估过程中，使用自然语言生成评估指标 BARTScore 来衡量模型的性能。最后，通过对多个任务和模型的评估结果进行分析，得出关于多模态基础模型的性能趋势和结论。

应用

HEMM 框架可用于评估多模态基础模型在不同领域的性能，为未来的多模态研究提供指导。它可以帮助研究人员了解模型的优势和局限性，为模型的改进和优化提供方向。此外，HEMM 框架还可以促进多模态模型在实际应用中的发展，如多媒体、情感计算、自然科学、医疗保健和人机交互等领域。