摘要

本文探讨了利用大型语言模型（LLMs）辅助视频内容分析的潜力，特别是在分析与抑郁症相关的YouTube短视频方面。研究提出了一种新的LLM辅助多模态内容分析工作流程，包括代码本设计、提示工程、LLM处理和人工评估。通过分析203个从25个YouTube视频中提取的关键帧，研究比较了LLM与两个人类编码员的标注结果，发现LLM在对象和活动标注方面具有更高的准确性。此外，研究还探讨了LLM在视频标注中的潜力和局限性，并讨论了未来研究的机会和挑战，以及基于LLM辅助视频分析的伦理问题。

原理

本文的关键工作原理在于利用LLMs进行视频内容分析的新工作流程。首先，通过代码本设计将理论和概念转化为可观察的视频代码。接着，通过提示工程设计有效的提示，引导LLMs生成结构化的标注和自由文本的解释，以便进行定量分析和理解LLMs的推理过程。LLMs处理阶段涉及将视频分解为关键帧和转录文本，并使用LLMs进行标注。最后，通过人工评估确保标注的可靠性和与人类判断的一致性。这一流程不仅节省了人工分析的劳动，还能捕捉视频内容的细微差别。

流程

本文提出的LLM辅助视频内容分析工作流程包括四个主要步骤：1）代码本设计，将抽象主题转化为可识别的代码；2）提示工程，设计两种类型的提示以获取结构化的标注和解释；3）LLMs处理，分解视频为关键帧和转录文本，并使用LLMs进行标注；4）人工评估，通过迭代过程确保标注的可靠性和与人类判断的一致性。例如，在分析抑郁症相关视频时，LLMs能够识别视频中的对象和行为，并提供相应的解释，从而帮助研究人员更好地理解视频内容。

应用

本文的研究为LLMs在视频内容分析领域的应用提供了新的视角和方法。未来，LLMs可以用于自动化视频分析，减少人工编码的需求，特别是在处理大规模视频数据时。此外，LLMs的应用还可以扩展到其他领域，如社交媒体分析、教育视频内容评估等。然而，随着LLMs在视频分析中的应用，也需要关注伦理问题，如隐私保护和数据使用的道德边界。