边缘部署的CNN模型:电信行业软件日志分类的新突破

Convolutional vs Large Language Models for Software Log Classification in Edge-Deployable Cellular Network Testing

摘要

本文介绍了一种用于边缘可部署蜂窝网络测试中软件日志分类的卷积神经网络(CNN)架构,旨在解决电信行业中由复杂网络模拟器生成的软件日志的自动分类问题。这些日志通常包含数万行文本,且与自然语言差异较大,只有专业工程师能够解读并进行故障排查。传统的AI解决方案,如大型语言模型(LLMs),在处理这些特定领域的日志时存在局限性,包括受限的上下文窗口、不适用于非自然语言文本以及高昂的推理成本。本文提出的CNN模型能够处理长达200,000个字符的文本序列,并在分类复杂软件日志时达到超过96%的准确率,显著优于LLM方法,同时降低了生产成本。该模型适用于边缘设备部署,具有广泛的行业应用前景。

原理

本文提出的CNN模型通过卷积层处理一维输入序列,利用全局最大池化操作提取固定大小的特征表示,随后通过全连接层进行多类分类。模型中引入了残差连接以提升性能。此外,模型使用了一个基于LSTM的序列到序列(seq2seq)模型来生成初始嵌入矩阵,这一过程类似于软件日志语言理解,为CNN提供了有效的输入表示。CNN模型能够识别特定协议栈层中的缺陷,从而简化故障排查流程。

流程

模型的数据处理流程包括预处理单元(PPU)去除无关信息和异常日志,创建训练语料库(TC),并使用唯一字符作为标记进行文本编码。随后,模型通过选择固定长度的输入和目标序列进行训练。CNN模型的架构包括嵌入层、多个卷积层、全局最大池化层和全连接层,最终通过softmax激活函数进行分类。模型在训练过程中使用Adam优化器和L2正则化以防止过拟合并提高泛化能力。

应用

该CNN模型不仅在电信行业的软件日志分类中表现出色,还具有在其他行业中处理大规模复杂日志的潜力。其轻量级和高效性能使其适合在资源受限的边缘设备上部署,为自动化故障排查和系统维护提供了新的解决方案。随着5G/6G网络的发展,该模型的应用前景将更加广泛。