[发明专利]一种视频优化方法、装置、终端设备及存储介质

说明书

本申请提供一种视频优化方法、装置、终端设备及存储介质，涉及深度学习技术领域，能够提高优化视频的连续性。该视频优化方法包括：利用已训练的特征提取网络分别提取待优化的视频帧序列中的M帧锚点帧的中间特征，视频帧序列包括N帧视频帧，M帧锚点帧包括视频帧序列的第1帧视频帧和第N帧视频帧；利用已训练的光流网络分别确定N‑M帧中间帧的正向光流参数和反向光流参数；根据N‑M帧中间帧的正向光流参数和反向光流参数，以及M帧锚点帧的中间特征，确定N‑M帧中间帧的中间特征；利用已训练的特征估计网络分别对视频帧序列的N帧视频帧的中间特征进行特征估计，得到N帧优化图像，N帧优化图像构成视频帧序列的优化视频。

技术领域

本申请涉及深度学习技术领域，尤其涉及一种视频优化方法、装置、终端设备及存储介质。

背景技术

视频优化一般包括视频去噪、视频去雨、视频超分、视频调色、黑白视频上色等优化操作。目前，在基于深度学习的视频优化方案中，常常采用图像优化模型(例如图像去噪模型、图像去雨模型、超分模型、图像调色模型、黑白图像上色模型等)提取视频中的每一帧视频帧的中间特征，并对每一帧视频帧的中间特征进行特征估计，得到每一帧视频帧对应的优化图像，从而实现视频的优化。

然而，这种基于图像优化模型，对视频中每一帧视频帧进行独立优化的方式，可能会导致不同视频帧具备不同的优化效果，影响优化后视频的连续性。

发明内容

有鉴于此，本申请提供一种视频优化方法、装置、终端设备及存储介质，提高优化视频的连续性。

第一方面，本申请提供一种视频优化方法，包括：

利用已训练的特征提取网络分别提取待优化的视频帧序列中的M帧锚点帧的中间特征，视频帧序列包括N帧视频帧，M帧锚点帧包括视频帧序列的第1帧视频帧和第N帧视频帧，M为大于2且小于N的正整数；利用已训练的光流网络分别确定N-M帧中间帧的正向光流参数和反向光流参数，中间帧的正向光流参数用于描述中间帧的前一帧向该中间帧变换的变换关系，中间帧的反向光流参数用于描述中间帧的后一帧向该中间帧变换的变换关系，中间帧为待优化视频中除锚点帧以外的视频帧；根据N-M帧中间帧的正向光流参数和反向光流参数，以及M帧锚点帧的中间特征，确定N-M帧中间帧的中间特征；利用已训练的特征估计网络分别对视频帧序列的每一帧视频帧的中间特征进行特征估计，得到N帧优化图像，N帧优化图像构成该视频帧序列的优化视频。

在一种可选的实现方式中，根据N-M帧中间帧的正向光流参数和反向光流参数，以及M帧锚点帧的中间特征，确定N-M帧中间帧的中间特征，包括：

针对视频帧序列中的第i帧视频帧，i取值为{1，2，……，N-1，N}，当第i帧视频帧为中间帧时：利用第i帧视频帧的正向光流参数对第i-1帧视频帧的中间特征进行形状变换，得到第i帧视频帧的正向特征；利用第i帧视频帧的反向光流参数对第i+1帧视频帧的反向特征进行形状变换，得到第i帧视频帧的反向特征；对第i帧视频帧的正向特征和第i帧视频帧的反向特征进行特征融合，得到第i帧视频帧的中间特征；其中，若第i+1帧视频帧为锚点帧，第i+1帧视频帧的反向特征取值为第i+1帧视频帧的中间特征。

在一种可选的实现方式中，对第i帧视频帧的正向特征和第i帧视频帧的反向特征进行特征融合，得到第i帧视频帧的中间特征，包括：

将第i-1帧视频帧、第i帧视频帧、第i+1帧视频帧、第i帧视频帧的正向特征、第i帧视频帧的反向特征、第i-1帧视频帧的正向特征和第i+1帧视频帧的反向特征输入到已训练的FFM模型中进行融合处理，得到第i帧视频帧的中间特征，其中，若第i-1帧视频帧为锚点帧，第i-1帧视频帧的正向特征取值为第i-1帧视频帧的中间特征。

在一种可选的实现方式中，融合处理包括：