[发明专利]神经网络训练及图像处理方法、装置、系统

说明书

本发明提供了一种神经网络训练及图像处理方法、装置、系统，涉及视频提取技术领域，其中，该神经网络训练方法包括：首先，利用3D卷积神经网络对M帧图像进行3D卷积处理，获得M帧图像的特征图，之后，将M帧图像的特征图通过归一化指数函数，获得与M帧图像中每一帧图像为关键帧的概率值，之后，根据M个概率值以及应用端对M帧图像序列的评分，对3D卷积神经网络的网络参数进行调整，从而使经过调整后的网络参数更加适合关键帧的提取，解决了现有技术中关键帧提取时的无法适应视频内容的变化、无法借助高层的语义信息等的问题，使关键帧提取更加快速有效。

技术领域

本发明涉及视频提取技术领域，尤其是涉及一种神经网络训练及图像处理方法、装置、系统。

背景技术

在视频处理和分析过程中，需要选取其中的一些视频帧作为关键帧，之后，将关键帧作为处理和分析的对象，即关键帧提取是在一组镜头内高度冗余的连续多帧中提取具有代表性并且质量高的少数帧来保存或分析，从而降低存储空间和计算量。

目前，常见的关键帧提取的方法有：(1)固定步长采样方法，该方法虽实现简单，但是，固定的步长无法适应视频内容的变化；(2)基于变化阈值的帧差方法，该方法无法保证提取高质量的关键帧；(3)基于运动光流的关键帧选择，该方法依赖于光流计算的准确度，并且，是一种非可学习的方法；(4)基于聚类的选择方法，该方法是一种非监督方法，而且，对异常帧较为敏感，但是，无法借助高层的语义信息来进行分析。可见，现有的提取方法都无法快速有效的从视频中提取出关键帧。

针对上述问题，还未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供了神经网络训练及图像处理方法、装置、系统，增加了关键帧提取的可靠性。

第一方面，本发明实施例提供了一种神经网络训练方法，包括：

利用3D卷积神经网络对M帧图像进行3D卷积处理，获得M帧图像的特征图；

将M帧图像的特征图通过归一化指数函数，获得与M帧图像中每一帧图像为关键帧的概率值；

根据M个概率值以及应用端对M帧图像序列的评分，对3D卷积神经网络的网络参数进行调整。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，3D卷积神经网络中，每一层的3D卷积核为五维数组，每个维度的尺寸分别表示卷积核的时间深度、高度、宽度、输入通道数和输出通道数。

结合第一方面第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据M个概率值以及应用端对M帧图像序列的评分，对3D卷积神经网络的网络参数进行调整，具体包括：

以M个概率值作为权重，与每一帧输入图像的评分相乘，得到每一帧输入图像的奖赏；

根据每一帧输入图像的奖赏，通过策略梯度调整3D卷积神经网络的网络参数。

结合第一方面第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据M个概率值以及应用端对M帧图像序列的评分，对3D卷积神经网络的网络参数进行调整，具体包括：

以M个概率值π(a_m|θ)作为权重，与每一帧输入图像的评分相乘，得到每一帧输入图像的奖赏R_m，其中，a_m表示选取第m帧作为关键帧的动作，θ为网络参数；

对每一帧输入图像的奖赏R_m进行降低方差处理，获得降低方差后的奖赏R_m-b，其中，

基于3D卷积神经网络的目标函数

以及目标函数对网络参数θ的偏导数