摘要

本文探讨了使用多模态大型语言模型（LLMs）进行活动的时间定位问题，即在视频中识别特定动作的时间间隔。文章提出了一种两阶段方法，结合图像和文本LLMs，以提高时间活动定位的准确性。通过在Charades-STA数据集上的实验，证明了该方法的有效性，并展示了指令调优对小型多模态LLM的影响，使其在处理动作查询时输出更丰富和信息量更大的描述，从而提高时间间隔识别的性能。

原理

本文的核心在于利用多模态LLMs进行时间活动定位。首先，使用图像输入的多模态LLM（如LLaMA-Adapter或GPT-4 Vision）对视频帧中的活动进行详细描述。然后，将这些描述与活动查询一起输入到文本LLM中，以确定活动发生的时间间隔。这种方法的先进性在于其能够结合图像和文本LLMs的优势，通过两阶段处理提高时间定位的准确性。此外，通过指令调优，可以进一步增强模型的描述能力，使其在处理复杂查询时更加精确和详细。

流程

工作流程分为两个主要阶段：第一阶段，多模态LLM接收视频帧作为输入，并生成对帧中活动的描述。第二阶段，文本LLM接收这些描述和活动查询，进行推理以确定活动的时间间隔。例如，对于查询“人穿上鞋子”的活动，文本LLM会分析从多模态LLM获得的帧描述，确定活动开始和结束的具体帧数。这种两阶段流程确保了从视觉到文本的连续推理，提高了时间定位的精确度。

应用

该研究的应用前景广泛，特别是在视频监控、体育分析、电影制作等领域。通过精确的时间活动定位，可以实现更高效的视频内容分析和检索。此外，随着多模态LLMs和指令调优技术的进一步发展，预计这种方法将在更多需要复杂视觉和文本理解的场景中得到应用，如智能教育、虚拟现实和增强现实等。