摘要

本文介绍了一种基于视觉语言模型（VLM）的跨模态语义通信（VLM-CSC）系统，旨在解决传统图像语义通信（ISC）系统在动态环境中面临的低语义密度、灾难性遗忘和不确定信噪比（SNR）等问题。VLM-CSC系统通过三个创新组件实现：跨模态知识库（CKB）、记忆辅助编码器和解码器（MED）以及噪声注意力模块（NAM）。CKB用于从语义稀疏的图像中提取高密度文本语义，并在接收端基于文本语义重建原始图像，从而减轻带宽压力。MED采用混合长/短期记忆机制，使语义编码器和解码器能够克服动态环境中的灾难性遗忘。NAM利用注意力机制根据SNR自适应调整语义编码和通道编码，确保CSC系统的鲁棒性。实验模拟验证了CSC系统的有效性、适应性和鲁棒性。

原理

VLM-CSC系统的工作原理基于其三个核心组件：CKB、MED和NAM。CKB通过BLIP模型在发射端生成与图像一致的高质量文本描述，并在接收端通过Stable Diffusion（SD）模型基于文本描述重建图像，从而提高传输信息的语义密度和系统的可解释性。MED通过短/长期记忆池，使系统能够在动态环境中持续学习，避免灾难性遗忘。NAM根据通道反馈的SNR值，动态调整编码权重，确保在不同SNR条件下语义特征的高鲁棒性。

流程

VLM-CSC系统的工作流程包括：1）文本语义提取：使用BLIP模型将低语义密度的原始图像转换为高语义密度的文本描述。2）语义编码和解码：通过交替的Transformer编码层和NAM，将文本信息转换为紧凑的语义表示，并在接收端反向解码以恢复原始文本信息。3）通道编码和解码：将编码的语义特征通过通道编码进行通道编码和调制，确保语义信息在物理通道上的有效传输。4）图像重建：使用SD模型基于接收到的文本信息重建图像。5）记忆辅助持续学习：在训练阶段，最新样本存储在STM中，当STM满时，选择代表性样本转移到LTM，然后清空STM以缓存新样本。6）训练过程：联合训练通道编码器和解码器与NAM，然后是语义编码器和解码器与NAM，最后通过交叉迭代训练直到系统收敛。

应用

VLM-CSC系统在动态环境中的图像语义通信领域具有广泛的应用前景。其高效的语义提取和重建能力，以及对动态SNR的适应性和鲁棒性，使其在无线通信、虚拟现实、元宇宙等需要高语义理解和低延迟的应用中具有重要价值。此外，系统的持续学习和自适应能力也使其在不断变化的通信环境中保持高性能。