[发明专利]基于TS-BERT神经网络模型架构的ECG信号分类方法

权利要求书

1.一种基于TS-BERT神经网络模型架构的ECG信号分类方法，其特征在于，所述方法包括：

步骤一、获取ECG数据集，并使用小波变换、中值滤波方法进行数据增强与去噪；然后，将其按比例划分成训练集、验证集和测试集；

步骤二、在步骤一中获得的数据集上使用TS-BERT神经网络模型架构进行预训练；

步骤三、使用下游ECG信号分类任务微调经过步骤二预训练之后的数据，得到最终模型。

2.根据权利要求1所述的基于TS-BERT神经网络模型架构的ECG信号分类方法，其特征在于，在步骤二中，TS-BERT将时序的ECG信号分割成多个小片段，将每个小片段通过时间卷积层TCN后整合在一起作为输入，并通过12层基于多头自注意力机制和点级前馈网络构成的编码器；

所述多头自注意力机制计算公式如下：

MultiHeadAttn(F^l)＝[head₁，head₂，...，head_h]W^O；

head_i＝Attention(F^lW_i^Q，F^lW_i^K，F^lW_i^V)，

其中，F^l是第l层网络的输入；当l＝0时，框架将时序的ECG信号当作输入，W^Q，W^K，W^V，W^O∈R^d*d是投影矩阵参数，d是所述ECG信号的向量维度，是防止注意力机制乘积过大的比例因子；

所述点级前馈网络计算公式如下：

FFN(x)＝(ReLU(xW₁+b₁))W₂+b₂；

其中，W₁，b₁，W₂，b₂是可学习的参数；

同时，采用向量量化模块产生ECG数据的自监督信号，包括：

初始化包含K个向量的特征空间e，然后用时间卷积网络对ECG信号F进行编码，并为每一个ECG小片段构造离散表示z，公式如下：

z_i＝q(F)_i＝argmin_j||Encoder(F)_i-e_j||₂；

并采取两部分均方差损失函数分别优化向量空间和量化编码器使离散表示之间存在可分辨的界限：

其中，sg表示梯度停止，则量化编码z即可作为BERT的自监督信号。

3.根据权利要求1所述的基于TS-BERT神经网络模型架构的ECG信号分类方法，其特征在于，步骤三包括：

对BERT最后一层输出采用平均池化操作以获取时序ECG信号的整体表示；然后，将该向量输入线性分类器计算每一种类别的概率，用人工标注的类别进行有监督的微调训练；公式如下：

P＝softmax(OW^O+b^O)；

其中，W^O为线性映射矩阵，b^O为类别偏移；最终，经过微调之后的模型可对病人心电图进行准确诊断分析。