[发明专利]字幕生成方法、装置、计算机可读存储介质及电子设备

权利要求书

1.一种字幕生成方法，其特征在于，包括：

获取待生成字幕的目标视频的音频数据；

将所述音频数据进行切分，得到多个音频片段；

针对每一所述音频片段，提取所述音频片段对应的第一文本数据；提取所述第一文本数据的字符语义特征、短语语义特征以及音素特征；根据所述第一文本数据的字符语义特征、短语语义特征以及音素特征，对所述第一文本数据进行修正，得到所述音频片段对应的第二文本数据；

将每一所述音频片段对应的第二文本数据合并，得到所述目标视频的字幕信息；

所述根据所述第一文本数据的字符语义特征、短语语义特征以及音素特征，对所述第一文本数据进行修正，得到所述音频片段对应的第二文本数据，包括：

将所述第一文本数据的字符语义特征、短语语义特征以及音素特征进行拼接，得到拼接特征；

根据所述拼接特征，预测所述第一文本数据中每一字符对应的概率分布，其中，所述字符对应的所述概率分布包括预设参考字符在所述字符在所述第一文本数据中的位置出现的概率；

针对所述第一文本数据中的每一所述字符，根据所述字符对应的所述概率分布，确定所述字符是否为错别字；若所述字符为错别字，则利用所述字符对应的概率分布中、最大概率对应的所述预设参考字符替换所述字符，以得到所述第二文本数据；

所述方法还包括：获取所述目标视频的图像数据；针对每一所述音频片段，从所述图像数据中确定与所述音频片段对应的图像序列；提取所述图像序列中包含的第三文本数据，并根据所述图像序列，生成用于描述所述图像序列的第四文本数据；在所述利用所述字符对应的概率分布中、最大概率对应的所述预设参考字符替换所述字符的步骤之前，所述根据所述第一文本数据的字符语义特征、短语语义特征以及音素特征，对所述第一文本数据进行修正，得到所述音频片段对应的第二文本数据，还包括：若所述字符为错别字，则针对所述字符对应的所述概率分布中概率最高的K个概率对应的预设参考字符中的每一预设参考字符，判断该预设参考字符是否出现在所述第三文本数据或所述第四文本数据中；若该预设参考字符出现在所述第三文本数据或所述第四文本数据中，则增大该预设参考字符在所述字符在所述第一文本数据中的位置出现的概率，并对应减小所述字符对应的所述概率分布中、除所述概率最高的K个概率对应的预设参考字符外的任一其他预设参考字符在所述字符在所述第一文本数据中的位置出现的概率；

或者

所述目标视频的类型为教学视频；所述方法还包括：根据所述第一文本数据，确定所述目标视频所属的目标学科和目标学段；在所述利用所述字符对应的概率分布中、最大概率对应的所述预设参考字符替换所述字符的步骤之前，所述根据所述第一文本数据的字符语义特征、短语语义特征以及音素特征，对所述第一文本数据进行修正，得到所述音频片段对应的第二文本数据，还包括：若所述字符为错别字，则针对所述字符对应的所述概率分布中概率最高的K个概率对应的预设参考字符中的每一预设参考字符，判断该预设参考字符是否出现在与所述目标学科和所述学段对应的词表中；若该预设参考字符出现在所述与所述目标学科和所述学段对应的词表中，则增大该预设参考字符在所述字符在所述第一文本数据中的位置出现的概率，并对应减小所述字符对应的所述概率分布中、除概率最高的K个概率对应的预设参考字符外的任一其他预设参考字符在所述字符在所述第一文本数据中的位置出现的概率。

2.根据权利要求1所述的方法，其特征在于，所述根据所述字符对应的所述概率分布，确定所述字符是否为错别字，包括：

若所述字符对应的所述概率分布中概率最高的K个概率对应的预设参考字符中、不存在所述字符，则确定所述字符为错别字，其中，K为大于或等于1的整数。

3.根据权利要求1所述的方法，其特征在于，在所述方法包括所述获取所述目标视频的图像数据的步骤的情况下，所述根据所述第一文本数据的字符语义特征、短语语义特征以及音素特征，对所述第一文本数据进行修正，得到所述音频片段对应的第二文本数据，还包括：

若该预设参考字符未出现在所述第三文本数据和所述第四文本数据中，则保持该预设参考字符在所述字符在所述第一文本数据中的位置出现的概率不变。