[发明专利]语音转写方法和装置、机器人

权利要求书

1.一种语音转写方法，其特征在于，包括：

获取语音信号的语谱图；

将获取的所述语谱图输入到经训练后的深度全序列卷积神经网络，得到所述语音信号对应的文本数据；其中，所述深度全序列卷积神经网络为使用多个卷积层和池化层对对语音信号进行识别的神经网络；

输出所述文本数据。

2.根据权利要求1所述的方法，其特征在于，每个所述卷积层和池化层对包括：一个卷积层和一个池化层，且所述池化层的输入为所述卷积层的输出。

3.根据权利要求1所述的方法，其特征在于，通过以下方式获得经训练后的深度全序列卷积神经网络：

根据训练数据集对深度全序列卷积神经网络进行训练，得到所述训练后的深度全序列卷积神经网络；其中，所述训练数据集包括：多种语音信号的语谱图，以及与所述多种语音信号对应的多个文本数据。

4.根据权利要求1所述的方法，其特征在于，将获取的所述语谱图输入到经训练后的深度全序列卷积神经网络，得到所述语音信号对应的文本数据包括：

利用所述深度全序列卷积神经网络依次执行以下步骤：

对所述语谱图进行图像识别，得到识别结果；

对所述识别结果进行关键词抽取；

基于抽取的所述关键词在预设的语料库中进行搜索，得到搜索结果；

基于所述搜索结果结合所述语音信号所对应的领域得到所述文本数据。

5.根据权利要求4所述的方法，其特征在于，基于所述搜索结果结合所述语音信号所在的领域得到所述文本数据包括：

对所述搜索结果进行后处理，得到后处理结果；其中，所述后处理包括：对所述搜索结果进行排序、分类、筛选和提取；

基于加权有限状态转换器的解码网络，依据所述后处理结果，在与所述语音信号所对应的领域内对所述关键词进行解码，得到所述文本数据。

6.根据权利要求5所述的方法，其特征在于，在存在多个所述解码网络的情况下，基于加权有限状态转换器的解码网络，依据所述后处理结果，在与所述语音信号所对应的领域内对所述关键词进行解码，得到所述文本数据包括：

将多个所述解码网络进行融合；

基于融合后的解码网络，依据所述后处理结果，在与所述语音信号所对应的领域内对所述关键词进行解码，得到所述文本数据。

7.根据权利要求1所述的方法，其特征在于，在输出所述文本数据之后，所述方法还包括：

对输出的文本数据进行分句、分段；

删除所述文本数据中的停顿词、语气词和重复词。

8.根据权利要求7所述的方法，其特征在于，对输出的文本数据进行分句、分段包括：

通过预设的两级级联双线长短时记忆网络模型对输出的文本数据进行分句和分段；其中，所述两级级联双线长短时记忆网络模型包括：输入层、输出层，以及位于所述输入层和所述输出层之间的前向长短时记忆网络和后向长短时记忆网络。

9.一种语音转写装置，其特征在于，包括：

获取模块，用于获取语音信号的语谱图；

第一处理模块，用于将获取的所述语谱图输入到经训练后的深度全序列卷积神经网络，得到所述语音信号对应的文本数据；其中，所述深度全序列卷积神经网络为使用多个卷积层和池化层对对整句语音信号进行识别的神经网络；

输出模块，用于输出所述文本数据。

10.根据权利要求9所述的装置，其特征在于，每个所述卷积层和池化层对包括：一个卷积层和一个池化层，且所述池化层的输入为所述卷积层的输出。