"LAHAR:基于LLM的多用户环境传感器人类活动识别系统"
摘要
本文提出了一种基于大型语言模型(LLM)的系统框架LAHAR,用于解决多人在场环境下的基于环境传感器的人类活动识别(HAR)问题。传统HAR方法面临数据稀缺、模型泛化困难、多用户场景识别复杂等挑战。LAHAR通过提示工程技术,实现了对环境事件的个体分离和动作级别描述,从而在多用户场景中实现高效且可解释的活动识别。实验结果表明,LAHAR在ARAS数据集上与现有最先进方法相比,具有更高的分辨率和在多用户场景中的鲁棒性。
原理
LAHAR系统利用LLM的上下文学习和推理能力,通过两个阶段的提示工程方法处理多用户传感器数据。第一阶段,系统接收以秒为单位的文本化传感器事件,使用自然语言为每个个体的动作分配和描述。第二阶段,基于第一阶段收集的个体动作描述,进行推理以预测长达数十小时的活动粗略时间线。这种方法通过LLM的生成能力,能够分离混合的事件序列,并通过其解释性增强推理过程的可解释性。
流程
LAHAR的工作流程包括三个主要步骤:首先,将传感器读数段处理成文本形式的传感器事件对;其次,将上下文信息整合到传感器事件对序列中,通过LLM分离个体并生成个体动作级别的描述;最后,基于动作级别的描述和上下文信息,使用LLM进行活动级别的推理,预测每个个体的活动时间线。例如,系统可以处理一个包含多个传感器事件的时间段,通过LLM分析这些事件,生成每个个体的动作描述,并最终推理出他们的活动时间线。
应用
LAHAR系统在智能家庭、医疗保健、老年人护理和家庭安全等领域具有广泛的应用前景。通过提供精确且可解释的活动识别,LAHAR能够支持更智能、更个性化的家庭环境,同时增强用户信任和体验。此外,该系统的高分辨率和多用户场景下的鲁棒性使其成为未来智能家居和物联网应用的重要组成部分。
