[发明专利]视频字幕去除方法及装置

权利要求书

1.一种视频字幕去除方法，其特征在于，包括：

从视频中获取待去除字幕的当前视频帧以及所述当前视频帧的上一帧视频帧；

将所述当前视频帧与所述上一帧视频帧输入至字幕去除模型中，得到所述当前视频帧中包含的字幕位置信息、所述当前视频帧相对于所述上一帧视频帧的光流图、所述光流图对应的遮挡区域信息及修复图像，所述遮挡区域信息用于确定不能采用所述光流图对所述当前视频帧中的字幕像素点进行替换的区域；

根据所述字幕位置信息、所述光流图、所述遮挡区域信息、所述修复图像、所述当前视频帧及所述上一帧视频帧对所述当前视频帧进行字幕去除处理，得到去除字幕的图像。

2.根据权利要求1所述的视频字幕去除方法，其特征在于，所述根据所述字幕位置信息、所述光流图、所述遮挡区域信息、所述修复图像、所述当前视频帧及所述上一帧视频帧对所述当前视频帧进行字幕去除处理，得到去除字幕的图像包括：

根据字幕位置信息及所述当前视频帧确定所述当前视频帧中包含的字幕像素点；

根据所述光流图及所述上一帧视频帧对所述当前视频帧中包含的字幕像素点进行替换，得到替换后的图像；

根据所述遮挡区域信息、所述修复图像及所述替换后的图像生成所述去除字幕的图像。

3.根据权利要求2所述的视频字幕去除方法，其特征在于，所述根据所述遮挡区域信息、所述修复图像及所述替换后的图像生成所述去除字幕的图像包括：

根据所述遮挡区域信息及所述修复图像确定替换像素点；

将所述替换像素点替换所述替换后的图像中与所述替换像素点相对应的像素点，生成所述去除字幕的图像。

4.根据权利要求1所述的视频字幕去除方法，其特征在于，所述字幕去除模型按照如下方式预先训练获得：

获取多个训练样本图像，其中，每一个训练样本图像包括第一视频帧及所述第一视频帧的上一帧视频帧；

根据多个所述训练样本图像中的第一视频帧中的字幕添加位置及第一视频帧对应的原始图像生成多个所述训练样本图像各自的训练标签；

基于多个训练样本图像及各自的训练标签对预设的神经网络模型进行训练，得到所述字幕去除模型。

5.根据权利要求4所述的视频字幕去除方法，其特征在于，每一个训练样本图像按照如下方式获得：

从不具有字幕的视频中获取第二视频帧及所述第二视频帧的上一帧视频帧；

在所述第二视频帧中添加字幕，得到所述第一视频帧；

将所述第一视频帧及所述第二视频帧的上一帧视频帧作为一个训练样本图像。

6.根据权利要1所述的视频字幕去除方法，其特征在于，所述从视频中获取待去除字幕的当前视频帧以及所述当前视频帧的上一帧视频帧包括：

采用字幕检测模型对所述视频的每一帧视频帧进行检测，并在检测到字幕时，从所述视频中获取待去除字幕的当前视频帧以及所述当前视频帧的上一帧视频帧。

7.根据权利要1至6任一项所述的视频字幕去除方法，其特征在于，所述字幕去除模型包括编码器以及解码器，所述将所述当前视频帧与所述上一帧视频帧输入至字幕去除模型中，得到所述当前视频帧中包含的字幕位置信息、所述当前视频帧相对于所述上一帧视频帧的光流图、所述光流图对应的遮挡区域信息及修复图像包括：

将所述当前视频帧与所述上一帧视频帧输入至字幕去除模型中，通过所述编码器对所述当前视频帧与所述上一帧视频帧进行编码得到特征图，并通过所述解码器对所述特征图进行解码得得到所述当前视频帧中包含的字幕位置信息、所述当前视频帧相对于所述上一帧视频帧的光流图、所述光流图对应的遮挡区域信息及修复图像，其中，所述解码器中包含有convGRU神经网络结构。