摘要

本文介绍了一种创新的端到端框架，该框架结合了设备上的大型语言模型（LLMs）与智能手机传感技术，以实现情境感知和个性化服务。该框架解决了当前基于云的LLMs在隐私、延迟和成本方面的关键限制，并通过在智能手机上部署LLMs，利用多模态传感器数据和定制的提示工程，确保了隐私保护并增强了个性化性能。通过一个大学学生的案例研究，展示了该框架提供定制化建议的能力。此外，该框架在隐私、性能、延迟、成本、电池和能源消耗方面实现了设备上和云LLMs之间的最佳平衡。未来的工作将集成更多样化的传感器数据，并进行大规模用户研究，以进一步完善个性化服务。

原理

该框架的核心在于将LLMs部署在智能手机上，通过智能手机的多模态传感器数据进行个性化服务。具体来说，框架利用AWARE-Light收集传感器数据，如地理位置、加速度计等，然后在智能手机上运行LLMs，通过定制的提示工程生成个性化响应。这种本地处理方式不仅保护了用户隐私，还减少了数据传输的延迟和成本。此外，通过优化模型和提示设计，提高了个性化服务的准确性和效率。

流程

工作流程包括四个主要步骤：首先，使用AWARE-Light从用户收集传感器数据；其次，在智能手机上部署LLMs；然后，应用提示工程设计，为LLMs提供足够的情境信息；最后，整合这些组件到一个端到端的管道框架中。例如，在案例研究中，通过收集学生的智能手机活动数据，LLMs能够分析学生的行为并提供个性化的建议，如改善睡眠质量的建议。

应用

该框架的应用前景广泛，特别是在医疗保健、生产力和娱乐等领域。通过提供安全、情境感知和高效的交互，该框架能够显著改善用户体验。随着技术的进一步发展和优化，预计该框架将在更多领域得到应用，为用户提供更加个性化和智能的服务。