[发明专利]直播字幕转写方法、装置、设备及计算机可读存储介质

说明书

本发明实施例涉及自然语言处理技术领域，公开了一种直播字幕转写方法，该方法包括：对当前直播视频画面进行场景识别确定场景类别；场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本；第一数据特征包括当前直播视频画面中当前发言人的音频特征、口型视频特征、文本特征及知识图谱特征；场景类别为比赛场景时，将第二数据特征输入比赛场景字幕转写模型，得到转写后的字幕文本；第二数据特征包括当前直播视频画面中当前发言人的音频特征、文本特征和知识图谱特征；将转写后的字幕文本以字幕的形式显示在当前直播视频画面中。通过上述方式，本发明实施例实现了有效提高实时字幕转写的准确率的效果。

技术领域

本发明实施例涉及自然语言处理技术领域，具体涉及一种直播字幕转写方法、装置、设备及计算机可读存储介质。

背景技术

现如今，大部分直播视频无法实时显示字幕；另外，有些视频的字幕也是在视频录制完成后，再由人工录入进去，即在视频重播时才可以看到字幕；最后，也有些直播视频是采用语音实时转写技术，将视频的语音信息实时转写成文字，并以字幕的形式显示在视频上。

现有技术中存在的缺点：现有直播技术中，很少完成字幕的实时转写；即使进行了实时撰写，在直播场景下，基于语音实时转写技术的准确率有限。

发明内容

鉴于上述问题，本发明实施例提供了一种直播字幕转写方法、装置、设备及计算机可读存储介质，用于解决现有技术中存在的在直播场景下，基于语音实时转写技术的准确率有限问题。

根据本发明实施例的一个方面，提供了一种直播字幕转写方法，所述方法包括：

对当前直播视频画面进行场景识别，确定场景类别；

当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本；所述第一数据特征包括所述当前直播视频画面中当前发言人的音频特征、口型视频特征、文本特征及知识图谱特征；

当所述场景类别为比赛场景时，将第二数据特征输入比赛场景字幕转写模型，得到转写后的字幕文本；所述第二数据特征包括所述当前直播视频画面中当前发言人的音频特征、文本特征和知识图谱特征；

将所述转写后的字幕文本以字幕的形式显示在所述当前直播视频画面中。

在一种可选的方式中，所述对当前直播视频画面进行场景识别，确定场景类别，包括：

通过视频场景识别模型对当前直播视频画面进行场景识别，得到所述当前直播画面对应的场景类别；

所述视频场景识别模型为预先根据直播视频样本输入至预设的分类模型中训练得到的。

在一种可选的方式中，所述当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本之前，所述方法还包括：

对所述当前直播视频画面进行人脸识别，得到当前发言人的人脸视频数据及口型视频数据；

对所述当前直播视频画面的音频数据进行语音识别，得到当前发言人的语音识别文本数据；

基于所述语音识别文本数据在预先构建的第一知识图谱中检索，得到所述语音识别文本数据对应的知识数据；

对所述音频数据、所述口型视频数据、所述语音识别文本数据及所述知识数据分别进行特征提取，得到第一数据特征。

在一种可选的方式中，所述演播场景字幕转写模型包括特征融合模块、编码层、输出层；所述当所述场景类别为演播室场景时，通过第一数据特征输入演播场景字幕转写模型中，得到转写后的字幕文本，包括：

将所述音频特征、所述口型视频特征、所述文本特征和所述知识图谱特征进行特征融合，获得多模态融合特征；