[发明专利]一种字幕生成方法、装置及计算机存储介质、电子设备

权利要求书

1.一种字幕生成方法，其特征在于，包括如下步骤：

确定待添加字幕的视频文件；

提取所述视频文件中对应的音频信息；

根据所述音频信息得到对应的文本；

提取所述文本对应的辅助特征；

根据所述文本对应的辅助特征以及预先构建的字幕断句模型，生成断句后的字幕。

2.如权利要求1所述的方法，其特征在于，所述根据所述音频信息得到对应的文本，包括：

根据音频信息中的停顿信息对所述音频信息进行切片化处理；

将切片化处理后的音频信息识别为文本，得到片段化的文本。

3.如权利要求1所述的方法，其特征在于，所述字幕断句模型的构建过程，包括：

将样本字幕文件中的文本拆分为若干单字；

利用拆分后的单字构建输入输出对并提取辅助特征，输入为拆分得到的单字，输出目标为该字之后是否需要断句处理的标识信息；

根据所述输入输出对以及辅助特征对神经网络进行训练，得到字幕断句模型。

4.如权利要求1或3所述的方法，其特征在于，所述辅助特征的提取过程，包括以下一种或多种：

根据文本中的当前单元数据是否处于词尾，确定该单元数据的分词特征；

根据文本中的单元数据与断句位置的共现情况，确定该单元数据的词共现特征；

根据文本中的单元数据的结束位置与后一单元数据的开始位置之间的时间长度，确定该单元数据的停顿时长特征；

根据截至文本中的当前单元数据的数据总数以及总时长，确定该单元数据的语速特征；

根据文本中的当前单元数据的结束位置以及该单元数据前多帧语音数据的基频值，确定该单元数据的基频走势；

根据文本中的当前单元数据的结束位置以及该单元数据前多帧语音数据的能量值确定该单元数据的能量变化。

5.如权利要求3所述的方法，其特征在于，在训练过程中进一步包括：

将文本中的当前单元数据的前M个单元数据对应的输出目标进行拼接，拼接后得到全局标签特征；

利用所述全局标签特征对目标进行预测。

6.如权利要求1所述的方法，其特征在于，所述根据所述文本对应的辅助特征以及预先构建的字幕断句模型，生成断句后的字幕，包括：

将所述文本对应的辅助特征进行拼接后输入预先构建的字幕断句模型；

计算所述文本中每个单元数据对应的输出层概率分布，搜索得到K个候选断句结果；

从1到K逐渐遍历每个候选断句结果，输出每个单元数据的字数均满足预设字数限制条件的候选断句结果；

对于不满足预设字数限制条件的候选断句结果，根据断句概率最大的单元数据对应的位置进行断句。

7.如权利要求1所述的方法，其特征在于，进一步包括：

将断句后的字幕与音视频文件进行时码匹配，得到该断句后的字幕在音视频文件中的起止时间。

8.一种字幕生成装置，其特征在于，包括：

文件确定模块，用于确定待添加字幕的视频文件；

音频提取模块，用于提取所述视频文件中对应的音频信息；

文本识别模块，用于根据所述音频信息得到对应的文本；

特征提取模块，用于提取所述文本对应的辅助特征；

字幕生成模块，用于根据所述文本对应的辅助特征以及预先构建的字幕断句模型，生成断句后的字幕。

9.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一所述方法的步骤。

10.一种电子设备，其特征在于，包括存储器、以及一个或多个处理器，所述存储器用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器执行时，实现如权利要求1至7任一所述的方法。