[发明专利]视频字幕去除方法及装置

说明书

本申请公开了一种视频字幕去除方法。该方法包括：从视频中获取待去除字幕的当前视频帧以及所述当前视频帧的上一帧视频帧；将所述当前视频帧与所述上一帧视频帧输入至字幕去除模型中，得到所述当前视频帧中包含的字幕位置信息、所述当前视频帧相对于所述上一帧视频帧的光流图、所述光流图对应的遮挡区域信息及修复图像，所述遮挡区域信息用于确定不能采用所述光流图对所述当前视频帧中的字幕像素点进行替换的区域；根据所述字幕位置信息、所述光流图、所述遮挡区域信息、所述修复图像、所述当前视频帧及所述上一帧视频帧对所述当前视频帧进行字幕去除处理，得到去除字幕的图像。本申请可修复包含字幕的图像。

技术领域

本申请涉及视频技术领域，尤其涉及一种视频字幕去除方法及装置。

背景技术

随着智能终端的普及，人们越来越多地在网上通过分享视频的方式进行交流。人们分享的视频在很多时候都是加了字幕或者弹幕等文字的，这些字幕或者弹幕等文字有时会影响了视频的观感。为此，我们在观看视频时，想要将视频中的了字幕或者弹幕等文字去除。

现有技术中，为了把视频中的文字去除，会通过视频补全和修复技术对文字的位置进行检测，然后对检测到的文字位置进行像素填充，然而，发明人发现，现有技术中像素填充效果较差，影响用户对视频的观看体验。

发明内容

有鉴于此，现提供一种视频字幕去除方法、装置、计算机设备及计算机可读存储介质，以解决现有技术中对字幕位置进行像素填充时，效果较差，导致用户体验较差的问题。

本申请提供了一种视频字幕去除方法，包括：

从视频中获取待去除字幕的当前视频帧以及所述当前视频帧的上一帧视频帧；

将所述当前视频帧与所述上一帧视频帧输入至字幕去除模型中，得到所述当前视频帧中包含的字幕位置信息、所述当前视频帧相对于所述上一帧视频帧的光流图、所述光流图对应的遮挡区域信息及修复图像，所述遮挡区域信息用于确定不能采用所述光流图对所述当前视频帧中的字幕像素点进行替换的区域；

根据所述字幕位置信息、所述光流图、所述遮挡区域信息、所述修复图像、所述当前视频帧及所述上一帧视频帧对所述当前视频帧进行字幕去除处理，得到去除字幕的图像。

可选地，根据所述字幕位置信息、所述光流图、所述遮挡区域信息、所述修复图像、所述当前视频帧及所述上一帧视频帧对所述当前视频帧进行字幕去除处理，得到去除字幕的图像包括：

根据字幕位置信息及所述当前视频帧确定所述当前视频帧中包含的字幕像素点；

根据所述光流图及所述上一帧视频帧对所述当前视频帧中包含的字幕像素点进行替换，得到替换后的图像；

根据所述遮挡区域信息、所述修复图像及所述替换后的图像生成所述去除字幕的图像。

可选地，所述根据所述遮挡区域信息、所述修复图像及所述替换后的图像生成所述去除字幕的图像包括：

根据所述遮挡区域信息及所述修复图像确定替换像素点；

将所述替换像素点替换所述替换后的图像中与所述替换像素点相对应的像素点，生成所可选地，所述字幕去除模型按照如下方式预先训练获得：

获取多个训练样本图像，其中，每一个训练样本图像包括第一视频帧及所述第一视频帧的上一帧视频帧；

根据多个所述训练样本图像中的第一视频帧中的字幕添加位置及第一视频帧对应的原始图像生成多个所述训练样本图像各自的训练标签；

基于多个训练样本图像及各自的训练标签对预设的神经网络模型进行训练，得到所述字幕去除模型。

可选地，每一个训练样本图像按照如下方式获得：