摘要

本文介绍了一种名为GeNet的多模态基于大型语言模型（LLM）的协同驾驶系统，旨在简化企业网络工程师的网络设计和配置流程。GeNet通过结合视觉和文本模态来解释和更新网络拓扑结构和设备配置，以响应用户意图。该系统在企业网络场景中进行了评估，显示出其在准确解释网络拓扑图像方面的能力，有望减少网络工程师的工作量并加速网络设计过程。

原理

GeNet的核心在于利用GPT-4这一多模态LLM来处理网络拓扑图像和设备配置文件。GPT-4通过视觉问答（VQA）技术将网络拓扑图像转换为详细的文本描述，然后根据用户意图更新这些描述和设备配置。这种多模态处理方式使得GeNet能够更全面地理解和响应网络工程任务，特别是在需要对网络拓扑进行修改的情况下。

流程

GeNet的工作流程分为两个主要模块：拓扑理解模块和意图实现模块。在拓扑理解模块中，GPT-4分析输入的网络拓扑图像，生成详细的文本描述。在意图实现模块中，GPT-4根据用户意图修改拓扑描述和设备配置文件，并提供修改的解释。例如，当一个实验室的以太网交换机端口不足时，GeNet会建议添加一个交换机并更新相关配置。

应用

GeNet的应用前景广泛，特别适用于需要频繁更新网络拓扑和配置的企业环境。随着网络复杂性的增加，GeNet能够帮助网络工程师更高效地完成设计和管理任务，减少人为错误，提高网络的可靠性和安全性。此外，GeNet的多模态处理能力也为未来网络自动化工具的发展提供了新的方向。