[发明专利]基于人工智能的字幕生成方法、装置、设备及存储介质

权利要求书

1.一种基于人工智能的字幕生成方法，其特征在于，包括步骤：

获取待生成字幕的视频数据，其中，所述视频数据包括：时间序列、所述时间序列对应的语音数据、所述时间序列对应的图像数据；

读取语音语言种类和目标语言种类，以及调取所述语音语言种类和所述目标语言种类对应的机器学习转换算法，对所述语音数据进行转换处理，生成所述目标语言种类的字符串数据，其中，所述字符串数据包括：文字字符串、所述文字字符串对应的声纹标签序列；

根据所述声纹标签序列中的标签种类，对所述文字字符串进行染色处理，生成所述声纹标签序列对应的目标语言染色字幕；

根据所述时间序列，将所述目标语言染色字幕与所述图像数据进行合并处理，生成附带字幕的视频数据。

2.根据权利要求1所述的基于人工智能的字幕生成方法，其特征在于，所述调取所述语音语言种类对应的机器学习转换算法，对所述语音数据进行转换处理，生成所述目标语言种类的字符串数据包括：

对所述语音数据的声纹特征进行提取，生成所述语音数据对应的特征矩阵；

根据所述语音语言种类，调取所述语音语言种类对应的识别算法，以及根据所述识别算法，对所述特征矩阵进行识别处理，得到文字字符串；

根据所述时间序列，将所述文字字符串与所述特征矩阵进行嵌入处理，得到标签特征矩阵；

根据所述语音语言种类，调取所述语音语言种类对应的声纹分类算法，以及根据所述声纹分类算法，对所述标签特征矩阵进行分类标记处理，得到所述文字字符串对应的声纹标签序列；

将所述声纹标签序列与所述文字字符串进行组合处理，得到字符串数据。

3.根据权利要求2所述的基于人工智能的字幕生成方法，其特征在于，所述根据所述识别算法，对所述特征矩阵进行识别处理，得到文字字符串包括：

将所述特征矩阵与预置初始矩阵进行卷积处理，得到第一识别矩阵；

对所述第一识别矩阵进行分批归一化处理，得到第二识别矩阵；

对所述第二识别矩阵进行映射转换处理，得到第三识别矩阵；

将所述第三识别矩阵与预置深度矩阵进行卷积处理，得到第四识别矩阵；

根据预置激活函数，对所述第四识别矩阵进行激活判定，得到文字字符串。

4.根据权利要求2所述的基于人工智能的字幕生成方法，其特征在于，所述根据所述声纹分类算法，对所述标签特征矩阵进行分类标记处理，得到所述文字字符串对应的声纹标签序列包括：

将所述标签特征矩阵代入预置第一期望函数中，得到第一期望值集，并将所述标签特征矩阵代入预置第二期望函数中，得到第二期望值集；

根据所述文字字符串的排序，对所述第一期望值集和所述第二期望值集进行极大极小运算，得到极大极小值集；

依次将所述极大极小值集中的数值与预置分类区间进行比对，得到所述文字字符串对应的声纹标签序列。

5.根据权利要求4所述的基于人工智能的字幕生成方法，其特征在于，所述依次将所述极大极小值集中的数值与预置分类区间进行比对，得到所述文字字符串对应的声纹标签序列包括：

将所述极大极小值集中的数值与预置分类区间的中位数进行比对；

判断所述数值是否大于所述分类区间的中位数；

若大于所述中位数，则将所述中位数作为最小值重新赋值所述分类区间，以便将所述数值与所述分类区间的中位数重新进行比对；

若小于所述中位数，则判断所述数值是否等于所述中位数；

若不等于所述中位数，则将所述中位数作为最大值重新赋值所述分类区间，以便将所述数值与所述分类区间的中位数重新进行比对；

若等于所述中位数，则读取所述中位数所在所述分类区间的声纹标签，将所述声纹标签标记至所述数值对应所述文字字符串的字符，循环标记得到所述文字字符串对应的声纹标签序列。