[发明专利]基于深度残差网络的视频序列丢失帧预测恢复方法

摘要

本发明提供的基于深度残差网络的视频序列丢失帧预测恢复方法，运用深度学习相关理论，利用深度残差网络来避免因网络层数过多而造成的训练效率大幅降低甚至不易收敛的现象，同时考虑LSTM长短时记忆网络对时间序列的记忆学习能力，用固定数量的视频帧图像数据作为训练样本训练该网络，进而进行视频序列中丢失帧的恢复预测，本发明极大程度上利用了视频帧图像的内在特征以及帧间图像的相似性与连贯性，提高了预测精度与效率，同时具有较强的泛化能力，具有一定的社会价值和现实意义。

主权项

1.基于深度残差网络的视频序列丢失帧预测恢复方法，其特征在于，具体包括以下步骤：步骤S1，收集视频序列中预定数量的连续视频帧图像，选取视频中的某帧图像作为丢失帧，然后按照距离丢失帧的远近，将视频帧序列划分为当前组、近期组和远期组，构造数据集；步骤S2，构造基于LSTM的深度残差网络结构；步骤S3，根据步骤S1构造的数据集，构造基于LSTM的深度残差网络结构的训练数据集、验证数据集和测试数据集；步骤S4，将步骤S3中的训练数据集送入步骤S2中构造的基于LSTM的深度残差网络结构中，进行网络训练，然后采用步骤S3中的验证数据集和测试数据集对训练所得的参数进行调整，逐步提高预测精度；步骤S5，将经过步骤S4中网络训练、验证、测试后的基于LSTM的深度残差网络结构作为视频序列丢失帧的预测恢复模型，将位于丢失帧之前的视频帧图像，输入基于LSTM的深度残差网络中，经过模型对输入数据的自主学习，最终可得到该丢失帧的预测恢复图像。