摘要

本文介绍了一种名为VideoQA-SC的端到端语义通信系统，旨在通过无线网络高效执行视频问答（VideoQA）任务，无需依赖视频重建。该系统通过提取和传输与任务相关的紧凑语义表示，实现了高带宽效率和实时性能。VideoQA-SC采用时空语义编码器有效提取视频语义，并结合基于学习的带宽自适应深度联合源通道编码（DJSCC）方案，确保在噪声或衰落无线通道中的高效和鲁棒传输。实验表明，VideoQA-SC在广泛的通道条件和带宽限制下，优于传统的和基于DJSCC的语义通信系统。特别是在低信噪比条件下，VideoQA-SC能提高5.17%的回答准确率，同时节省近99.5%的带宽。这展示了面向任务的语义通信系统在视频应用中的巨大潜力。

原理

VideoQA-SC系统的工作原理基于两个核心模块：时空语义编码器和基于学习的带宽自适应联合源通道编码器/解码器。时空语义编码器通过模型化视频的空间和时间相关性，提取紧凑且全面的视频语义进行传输。基于学习的带宽自适应DJSCC传输模块则通过学习预测每个语义标记的保留维度，实现带宽的高效分配。该系统通过端到端训练，优化所有可学习参数，以最大化在给定带宽约束下的VideoQA性能。

流程

VideoQA-SC的工作流程包括以下步骤：首先，通过时空语义编码器从输入视频中提取低维语义表示。然后，这些语义表示通过带宽自适应的联合源通道编码器处理，生成适合无线传输的符号。在接收端，接收到的符号通过联合源通道解码器解码，恢复出视频语义，最后通过多模态融合器与问题信息交互，预测答案。整个过程通过端到端训练优化，确保在各种通道条件和带宽限制下的高效和准确性能。

应用

VideoQA-SC系统在多个领域具有广泛的应用前景，特别是在需要低延迟和高准确性的智能应用中，如远程医疗、自动驾驶和物联网（IoT）网络。由于其能够在有限的带宽资源下提供高效的语义传输，VideoQA-SC能够支持复杂的视频问答任务，推动人机交互技术的发展，如虚拟现实、智能城市和元宇宙等领域的应用。