[发明专利]一种深度双向门递归神经网络的骨导语音增强方法

权利要求书

1.一种深度双向门递归神经网络的骨导语音增强方法，其特征在于如下步骤：

步骤一：提取气导AC和骨导BC语音特征，并对提取的语音特征进行数据预处理以符合神经网络的输入需求，然后进入步骤二进行训练；

步骤二：训练时，以骨导语音特征作为训练输入，以气导语音特征作为训练目标，采用时间反向传播算法训练深度双向门递归神经网络模型，并存储训练好的深度双向门递归神经网络模型；

步骤三：提取待增强的骨导语音特征，并根据步骤一所获得的语音特征数据统计特征进行数据归一化，然后进入步骤四进行骨导语音增强；

步骤四：增强时，利用步骤二训练好的双向门递归神经网络对步骤三提取的骨导语音特征进行增强，再对神经网络的输出进行反归一化和特征逆变换，最终得到增强后的骨导时域语音；

所述步骤一的语音特征提取过程：

①语音数据是由同一个人同时佩戴AC与BC麦克风设备录制的AC与BC语音数据对，AC语音可表示为A，BC语音可表示为B，利用短时傅里叶变换将AC与BC语音时域信号y(A)、y(B)分别变换到时频域，具体步骤为：

(1)对语音时域信号y(A)、y(B)分别进行分帧加窗处理，窗函数为汉明窗，帧长为N，N取为2的整数次幂，帧间移动长度为H；

(2)对分帧后的语音帧进行K点离散傅里叶变换，获得语音的时频谱Y_A(k,t)、Y_B(k,t)，具体计算公式如下：

这里，k＝0,1,···,K-1表示离散频率点，K表示离散傅里叶变换时的频率点数，K＝N，t＝0,1,···,T-1表示帧序号，T为分帧的总帧数，h(n)为汉明窗函数；

②对频谱Y(k,t)取绝对值，计算得到幅度谱M_A、M_B，计算公式如下：

M(k,t)＝|Y(k,t)|

③对幅度谱M(k,t)取以e为底的对数，得到对数幅度谱L_A、L_B，计算公式如 下：

L(k,t)＝lnM(k,t)

所述步骤四中利用训练好的神经网络模型实现BC语音特征增强，将归一化后的数据作为输入特征送入网络中，计算得到网络输出，即增强后的特征

所述数据反归一化以及逆变换过程，最终得到增强后的骨导时域语音的步骤如下：

①根据训练阶段AC语音对数幅度谱的均值和方差将双向门递归神经网络得到的输出进行反归一化，得到对数幅度谱计算公式如下：

②将对数幅度谱进行指数运算，得到幅度谱计算公式如下：

③利用幅度谱以及相位信息计算得到时频谱计算公式如下：

④利用傅里叶逆变换以及语音分帧后去重叠加公式，将频谱转化到时域，最终得到增强后的时域语音y(B_E)。

2.根据权利要求1所述的深度双向门递归神经网络的骨导语音增强方法，其特征在于步骤一的数据预处理过程：

①由于录制设备原因，AC、BC语音数据对具有相同的说话内容，但语音时长可能不一致，利用动态时间规整DTW算法实现对数幅度谱L_A、L_B的对齐，具体操作是利用以欧式距离为度量的DTW算法，得到对齐后的对数幅度谱LQ_A和LQ_B；

②分析对齐后的对数幅度谱LQ_A、LQ_B，分别得到两者的数据统计特征，包括均值和方差和然后分别归一化到均值0方差1，得到 特征数据LQ'_A、LQ'_B，计算公式如下：

。

3.根据权利要求1所述的深度双向门递归神经网络的骨导语音增强方法，其特征在于步骤二的门递归神经网络模型是长短时记忆模型的一种变形，通过引入了记忆单元和一些控制变量，能够对序列数据的长时依赖进行建模，并且参数更少，其组成部件门递归单元GRU可用以下式子表示：

这里与分别表示前一时刻隐层信息与当前时刻隐层的候补信息，z、r分别是更新门与重置门，用于更新和重置记忆单元信息，δ是隐层激活函数，x是输入向量，W是权重矩阵，b是偏置值，⊙表示矩阵点乘。