摘要

本文介绍了一种名为Anole的轻量级方案，用于在移动设备上进行本地深度神经网络（DNN）模型推理。Anole的核心思想是首先建立一组紧凑的DNN模型，然后根据当前测试样本的最佳适应性选择模型进行在线推理。该方案的关键在于自动识别模型友好的场景，以便训练特定场景的DNN模型。通过结合人类直觉和特征相似性，设计了一种弱监督场景表示学习算法。此外，还训练了一个模型分类器，用于预测每个测试样本的最佳适应场景特定DNN模型。Anole在不同类型的移动设备上进行了实现，并基于无人机（UAVs）进行了广泛的跟踪驱动和实际世界实验。结果表明，Anole在预测准确性、响应时间和功耗方面均优于使用通用大型DNN的方法。

原理

Anole的工作原理基于以下关键技术：首先，通过弱监督学习算法识别模型友好的场景，这些场景是通过结合人类直觉和数据特征相似性来定义的。然后，针对每个识别的场景，训练一个紧凑的DNN模型。此外，还训练了一个决策模型，用于在线推理时选择最适合当前测试样本的紧凑DNN模型。这种方法允许在资源受限的移动设备上进行高效的模型推理，而无需云端的干预。

流程

Anole的工作流程包括两个主要部分：离线场景分析和在线模型推理。在离线场景分析阶段，首先对数据集进行场景分割，然后训练场景表示模型和一组紧凑的DNN模型。在在线模型推理阶段，测试样本被输入到决策模型中，该模型预测最适合该样本的紧凑DNN模型，并进行推理。具体流程包括模型选择策略和基于缓存的模型部署，确保在有限的内存资源下高效地进行模型推理。

应用

Anole的应用前景广泛，特别适用于需要在线预测的AIoT应用，如无人机、车载摄像头和智能工厂中的机器人。由于其轻量级和高效性，Anole能够在资源受限的移动设备上实现实时交互，同时保持高预测准确性。此外，Anole的设计理念可以扩展到其他需要动态适应不同场景的AI应用中。