摘要

本文介绍了一种名为IOT-LM的开放源代码大型多感官语言模型，专门为物联网（IoT）生态系统设计。IOT-LM通过两个技术贡献实现其功能：首先，引入了MULTIIOT，这是迄今为止最广泛统一的多感官IoT数据集，包含超过1.15百万个样本，涵盖12种感官模式和8个任务，适用于多感官预训练和指令调整。其次，开发了一种新的多感官多任务适配器层，使预训练的大型语言模型能够同时处理多个多感官IoT任务，从而实现跨模式和任务的信息共享，提高泛化能力。IOT-LM不仅在8个监督IoT分类任务上取得了显著改进，还展示了基于IoT传感器的新型交互式问答、推理和对话能力。

原理

IOT-LM的核心创新在于其多感官多任务适配器层，该层能够使预训练的大型语言模型（LLM）同时处理多个多感官IoT任务。这一适配器层通过将不同感官模式的数据编码并融合，将其转换为LLM能够处理的输入空间，从而实现信息在不同模式和任务间的共享。具体来说，每个感官模式xi都有一个专用的编码器Ei，将原始传感器数据映射到中间特征空间。然后，这些编码的特征通过适配器内的融合机制结合，使模型能够利用所有可用传感器的信息。这种融合技术是根据数据和任务的具体特性选择的，确保了最佳性能。此外，模型的训练是通过多任务监督学习框架进行的，该框架强调单个任务的准确性，并通过共享表示和利用多样化的IoT数据景观中的共同模式来增强任务间的泛化能力。

流程

IOT-LM的工作流程包括数据收集、预训练和指令调整三个主要阶段。首先，通过收集和发布包含1.15百万个IoT传感器与自然语言配对样本的数据集，覆盖12种真实世界感官模式和8个IoT任务。接着，在预训练阶段，模型学习一个通用的多感官多任务编码器，该编码器能够从多个传感器和跨多个任务中融合信息。最后，在指令调整阶段，模型被训练以理解和解释多感官IoT数据上下文，并根据定向语言输入执行特定任务，如预测、回答问题、对话和推理。这一阶段确保模型不仅能够处理广泛的数据，还能理解和执行与IoT应用相关的复杂指令。

应用

IOT-LM的应用前景广泛，涵盖了从智能家居到工业自动化的多个领域。其能够处理和理解来自多种IoT传感器的数据，使得在智能健康监测、设备控制、智能城市互联等方面的应用成为可能。此外，IOT-LM的交互式问答和推理能力使其能够作为智能助手，提供用户友好的交互体验。未来，随着模型的进一步发展和优化，IOT-LM有望在更多复杂的IoT应用场景中发挥关键作用，推动物联网技术的智能化和自适应性。