摘要

本文介绍了一种基于BERT模型的创新方法，用于改进基于EEG的癫痫监测，特别是在癫痫发作检测方面。该研究的核心在于利用BERT-inspired Neural Data Representations (BENDR)模型，通过两阶段训练过程，首先在大规模未标记的Temple University Hospital EEG Corpus (TUEG)数据集上进行预训练，然后在较小的CHB-MIT Scalp EEG Database上进行微调。这种方法通过优化模型架构、预处理和后处理技术，显著提高了癫痫发作检测的敏感性和降低了每小时的误报率（FP/h）。此外，研究还探索了定制的训练策略，以确定最有效的模型设置，并通过第二阶段的预训练进一步增强了模型的泛化能力。最终，优化后的模型在CHB-MIT数据集上实现了0.23 FP/h的低误报率，比基线模型降低了2.5倍，同时在保持可接受的敏感性水平，展示了BERT模型在EEG癫痫检测中的有效应用。

原理

BENDR模型的工作原理基于BERT和wav2vec 2.0的思想，通过自监督学习和预训练来提取EEG数据中的内在模式。在预训练阶段，模型使用对比损失函数，通过重建原始序列元素来学习EEG数据的通用特征。随后，在微调阶段，模型通过特定的分类块（包括线性层和Softmax激活函数）来预测癫痫发作。此外，研究引入了第二阶段的监督预训练，该阶段在特定患者微调之前，对模型进行跨患者的癫痫模式学习，以增强模型对不同患者EEG特征的理解和适应性。这种两阶段的训练策略使得模型能够更好地泛化到新的患者数据，从而提高癫痫检测的准确性和可靠性。

流程

研究的工作流程包括以下几个关键步骤：

1. 自监督预训练：在TUEG数据集上进行，目的是让模型学习EEG数据的通用特征。
2. 微调：在CHB-MIT数据集上进行，针对特定任务（癫痫检测）进行优化。
3. 第二阶段监督预训练：在CHB-MIT数据集上进行，目的是增强模型对不同患者EEG特征的理解。
4. 优化和评估：通过调整模型架构、预处理和后处理技术，以及使用Leave-One-Out Cross-Validation (LOOCV)策略进行模型评估。

具体示例包括：在预训练阶段，模型通过对比损失函数学习如何重建被遮蔽的EEG序列；在微调阶段，模型通过特定的分类块预测癫痫发作；在第二阶段预训练中，模型在所有患者数据上进行训练，除了目标患者，以增强其对不同患者EEG特征的理解。

应用

该研究提出的BERT-based癫痫检测方法具有广泛的应用前景，特别是在临床环境中。由于其能够显著降低误报率并保持可接受的敏感性，这种方法可以有效地支持实时癫痫监测和治疗，特别是在需要长期监测的患者中。此外，该方法的优化和泛化能力表明，它有可能被部署在可穿戴设备上，为患者提供更加个性化和便捷的癫痫监测服务。随着进一步的研究和开发，这种方法有望成为癫痫管理的重要工具，提高患者的生活质量和安全性。