[发明专利]基于多路卷积神经网络的语音识别方法

权利要求书

1.基于多路卷积神经网络的语音识别方法，其包括以下步骤：

S1：输入原始语音，对所述原始语音信号进行预处理，并进行相关变换处理；

S2：提取出反映语音信号特征的关键特征参数，形成特征矢量序列；

S3：构建声学模型；

S4：训练所述声学模型，得到训练好的声学模型；

S5：将步骤S2中得到的待识别的所述特征矢量序列输入到所述训练好的声学模型中得到识别结果；

S6：以步骤S5中得到的所述识别结果为基础进行后续的运算，即得到能够以最大概率输出该语音信号的词串，所述词串即所述原始语音被识别后的语言文字；

其特征在于：

步骤S3中采用基于多路卷积神经网络模型为基础、以联结主义时间分类器CTC作为损失函数，构建端对端方式的所述声学模型；所述多路卷积神经网络的结构包括依次设置的子网络结构、连续的全连接层、CTC损失函数；步骤S2中获得的特征矢量序列输入到所述子网络结构中，所述子网络结构输出特征图输入到所述全连接层中；

所述子网络结构包括并列设置的结构相同的子网络；步骤S2中获得的特征矢量序列不做分割分别输入到每个所述子网络中；每个所述子网络输出的特征图经过拼接后，作为一个输入进入所述全连接层。

2.根据权利要求1所述基于多路卷积神经网络的语音识别方法，其特征在于：所述子网络有3个。

3.根据权利要求1所述基于多路卷积神经网络的语音识别方法，其特征在于：所述子网络的结构中第一层、第二层分别采用16个卷积核的卷积层提取语音特征；第三层、第四层分别采用32个卷积核的所述卷积层提取语音特征；第五层及以后采用64个卷积核的所述卷积层提取语音更高层特征；每个所述卷积层后面跟着一个激活函数。

4.根据权利要求3所述基于多路卷积神经网络的语音识别方法，其特征在于：如果所述子网络中的所述卷积层的层数为偶数，从第一个所述卷积层开始每两个连续的所述卷积层后跟着一个池化层；如果所述子网络中所述卷积层的层数为奇数，则从第一个所述卷积层开始每两个连续的所述卷积层后跟着一个池化层，最后三个所述卷积层连续操作后再进行一次所述池化层的池化操作。

5.根据权利要求1所述基于多路卷积神经网络的语音识别方法，其特征在于：所述全连接层的个数为3，所述全连接层的神经元的数目依次为512、1024、1422。

6.根据权利要求3所述基于多路卷积神经网络的语音识别方法，其特征在于：所述激活函数为Rectified Linear Units函数，计算公式为：

。

7.根据权利要求1所述基于多路卷积神经网络的语音识别方法，其特征在于：所述CTC损失函数为：

其中：

为softmax函数的计算公式，

表示基于输入x的输出π路径的概率，

表示输出label序列的概率是多少路径的概率和，

x代表输入,

X = x₁,x₂，……x_T, 代表输入序列，下标代表时间从1到T，

Y = y₁，y₂，……y_k,代表与X对应的输出，

y_i= y_i¹,y_i²,……，y_i^k,代表输出序列第i帧的条件概率分布，其中i = 1,2,……K,

π表示输出路径，

μ表示输出label序列，

π与μ之间是多对一的关系，

B表示路径到label序列的映射关系。

8.根据权利要求4所述基于多路卷积神经网络的语音识别方法，其特征在于：所述卷积层的卷积核的尺寸全部设置为3×3；所述池化层为2×2的步长为2的最大池化操作。

9.根据权利要求1所述基于多路卷积神经网络的语音识别方法，其特征在于：步骤S2中采用语谱图作为语音特征；所述语谱图中帧长设置为25ms，帧移设置为10ms，窗函数使用汉明窗函数。