[发明专利]字幕生成方法、装置、计算机可读存储介质及电子设备

说明书

本公开涉及一种字幕生成方法、装置、计算机可读存储介质及电子设备。方法包括：获取待生成字幕的目标视频的音频数据；将音频数据进行切分，得到多个音频片段；针对各音频片段，提取音频片段对应的第一文本数据；提取第一文本数据的字符语义特征、短语语义特征及音素特征；根据字符语义特征、短语语义特征及音素特征，对第一文本数据进行修正，得到音频片段对应的第二文本数据；将每一音频片段对应的第二文本数据合并，得到目标视频的字幕信息。这样，利用第一文本数据的字符语义特征、短语语义特征及音素特征对其进行修正，可保证第一文本数据和视频字幕的准确性。另外，各音频片段可并行进行文本数据的提取以及修正操作，从而提升字幕生成效率。

技术领域

本公开涉及多媒体技术领域，具体地，涉及一种字幕生成方法、装置、计算机可读存储介质及电子设备。

背景技术

现阶段，主要通过以下方式生成视频字幕：首先从视频中分离出音频数据；然后对该音频数据进行语音识别(Automatic Speech Recognition，ASR)，并将语音识别结果作为视频字幕。但当音频数据中存在背景音乐、杂音、专有名词或者中英文混合的情况时，语音识别的准确率将受到影响，这样，生成字幕的准确性也就无法保证。

发明内容

为了克服相关技术中存在的问题，本公开的提供一种字幕生成方法、装置、计算机可读存储介质及电子设备。

为了实现上述目的，第一方面，本公开提供一种字幕生成方法，包括：

获取待生成字幕的目标视频的音频数据；

将所述音频数据进行切分，得到多个音频片段；

针对每一所述音频片段，提取所述音频片段对应的第一文本数据；提取所述第一文本数据的字符语义特征、短语语义特征以及音素特征；根据所述第一文本数据的字符语义特征、短语语义特征以及音素特征，对所述第一文本数据进行修正，得到所述音频片段对应的第二文本数据；

将每一所述音频片段对应的第二文本数据合并，得到所述目标视频的字幕信息。

可选地，所述根据所述第一文本数据的字符语义特征、短语语义特征以及音素特征，对所述第一文本数据进行修正，得到所述音频片段对应的第二文本数据，包括：

将所述第一文本数据的字符语义特征、短语语义特征以及音素特征进行拼接，得到拼接特征；

根据所述拼接特征，预测所述第一文本数据中每一字符对应的概率分布，其中，所述字符对应的所述概率分布包括预设参考字符在所述字符在所述第一文本数据中的位置出现的概率；

针对所述第一文本数据中的每一所述字符，根据所述字符对应的所述概率分布，确定所述字符是否为错别字；若所述字符为错别字，则利用所述字符对应的概率分布中、最大概率对应的所述预设参考字符替换所述字符，以得到所述第二文本数据。

可选地，所述根据所述字符对应的所述概率分布，确定所述字符是否为错别字，包括：

若所述字符对应的所述概率分布中概率最高的K个概率对应的预设参考字符中、不存在所述字符，则确定所述字符为错别字，其中，K为大于或等于1的整数。

可选地，所述方法还包括：

获取所述目标视频的图像数据；

针对每一所述音频片段，从所述图像数据中确定与所述音频片段对应的图像序列；

提取所述图像序列中包含的第三文本数据，并根据所述图像序列，生成用于描述所述图像序列的第四文本数据；

在所述利用所述字符对应的概率分布中、最大概率对应的所述预设参考字符替换所述字符的步骤之前，所述根据所述第一文本数据的字符语义特征、短语语义特征以及音素特征，对所述第一文本数据进行修正，得到所述音频片段对应的第二文本数据，还包括：