摘要

本文提出了一种基于多模态大型语言模型（MLLM）的跨域少样本上下文学习方法，用于增强交通标志识别（TSR）。该方法通过构建基于Vision Transformer Adapter的交通标志检测网络和提取模块，从原始道路图像中提取交通标志。为了减少对训练数据的依赖并提高跨国家TSR的性能稳定性，引入了基于MLLM的跨域少样本上下文学习方法。通过生成包含交通标志形状、颜色和构成的关键信息的描述文本，该方法增强了MLLM对交通标志的细粒度识别能力。实验结果表明，该方法在多个数据集上显著提高了TSR性能。

原理

本文提出的方法首先通过Vision Transformer Adapter构建了一个交通标志检测网络，用于从原始道路图像中定位和提取交通标志。随后，利用MLLM生成描述文本，这些文本包含交通标志的关键信息，如形状、颜色和构成。通过这些描述文本，MLLM能够更好地理解和识别交通标志。这种方法的关键创新在于利用少样本学习策略，通过模板交通标志生成描述文本，从而减少模板与实际交通标志之间的跨域差异，提高了MLLM的细粒度识别能力。

流程

1. 使用Vision Transformer Adapter构建交通标志检测网络，从原始道路图像中提取交通标志。
2. 利用模板交通标志生成描述文本，这些文本包含交通标志的关键信息。
3. 将提取的交通标志图像和生成的描述文本输入MLLM，进行细粒度识别。
4. 通过实验验证，该方法在多个数据集上显著提高了TSR性能。

应用

该方法不仅适用于交通标志识别，还可扩展到其他需要细粒度识别的领域，如自动驾驶、智能交通管理系统等。由于其少样本学习的特性，该方法在数据稀缺的情况下尤为有效，具有广泛的应用前景。