摘要

本文介绍了一种名为WhisperNetV2的先进唇部生物识别认证系统，该系统利用深度孪生网络结构和三重损失函数，通过SlowFast网络提取唇部视频中的生理和行为特征。与传统方法不同，WhisperNetV2考虑了客户在视频采集过程中的不同情绪状态，这些情绪可能影响面部表情和说话速度，从而影响认证的准确性。通过在CREMA-D数据集上训练，该系统在测试集上达到了0.005的等误差率（EER），显示出其在唇部生物识别领域的先进性能。

原理

WhisperNetV2的核心是一个深度孪生网络，包含三个相同的SlowFast网络作为嵌入网络。SlowFast网络通过两个不同的路径处理相同的视频输入：快速路径以高帧率（低时间步长）提取与运动相关的特征（行为唇部运动），而慢速路径以低帧率（高时间步长）提取静态视觉特征（生理唇部外观）。这种双路径设计使得网络能够同时捕捉到唇部的生理和行为特征，从而提高了认证的准确性和鲁棒性。通过三重损失函数，网络学习生成嵌入，使得锚点和正样本嵌入之间的距离小于锚点和负样本嵌入之间的距离，确保了嵌入的区分度。

流程

WhisperNetV2的工作流程包括两个主要步骤：注册和认证。在注册阶段，系统为每个客户生成基于其生物特征的嵌入，并将其存储在数据库中。在认证阶段，系统从客户获取生物信息，生成相应的嵌入，并与数据库中的嵌入进行比较。如果新生成的嵌入与数据库中的嵌入相似度超过一个静态阈值，则客户被成功认证。具体到唇部生物识别，系统首先通过预处理步骤从全脸视频中裁剪出唇部区域，然后使用SlowFast网络生成嵌入，最后通过比较嵌入的相似度来决定是否认证成功。

应用

WhisperNetV2的应用前景广泛，特别是在需要高安全性和隐私保护的领域，如金融交易、边境控制和智能手机解锁。由于其仅依赖视觉信息，该系统在安静环境（如图书馆）和语音障碍人群中具有优势。此外，其无需特殊设备，使用普通智能手机的前置摄像头即可进行视频采集，使得该技术易于普及和应用。随着数据集的扩展和技术的进一步优化，WhisperNetV2有望在更多领域实现商业化和实际应用。