[发明专利]一种基于深度神经网络的数字视频特征提取方法

权利要求书

1.一种基于深度神经网络的数字视频特征提取方法，其特征在于，所述方法包括以下步骤：

训练一个去噪编码网络实现对视频的初始描述符的维数约简，将条件生成模型和编码器级联构成一组基本的特征提取模块；

连续训练多组特征提取模块，按训练先后顺序对所得模块做自底向上的堆叠构成深度神经网络；

训练后处理网络，将其置于深度神经网络的顶部，用以优化视频描述符的鲁棒性和区分性；

其中，所述方法还包括：

对输入视频做预处理，通过条件生成模型来表达视频内容的时空联系；

进一步地，所述对输入视频做预处理，通过条件生成模型来表达视频内容的时空联系的步骤具体为：

对视频做低通滤波平滑及降采样，将每一帧图片大小压缩到满足神经网络输入层尺寸需要，对降采样后的视频做正则化，使每一帧的像素平均值为零，方差为1；

将视频数据输入条件玻尔兹曼机，将预处理视频的每一帧像素置为可见层的神经元，对CRBM网络进行训练；

其中，所述训练一个去噪编码网络实现对视频的初始描述符的维数约简，将条件生成模型和编码器级联构成一组基本的特征提取模块的步骤具体为：

对每个训练视频施加失真并做预处理操作，将失真视频作为CRBM的输入，生成初始描述符，选取多组原始视频和失真视频的初始描述符作为训练数据，训练一个去噪自编码网络；

将训练所得的编码器E(·)堆叠在CRBM之上，得到第一组特征提取模块；

进一步地，所述连续训练多组特征提取模块，按训练先后顺序对所得模块做自底向上的堆叠构成深度神经网络的步骤具体为：

利用上述特征提取模块的输出作为训练数据，继续训练一对CRBM和编码器，用所得CRBM和编码器重新建立第二组特征提取模块；

依次训练多个CRBM和编码器模块，每个模块的训练数据由前一个模块的输出组成；

按照训练的先后顺序将各个模块进行自底向上的堆叠，形成深度神经网络；

其中，所述训练后处理网络，将其置于深度神经网络的顶部，用以优化视频描述符的鲁棒性和区分性的步骤具体为：

利用由K个CRBM-E(·)模块所构成的深度神经网络为训练视频生成描述符，通过训练后置处理网络的代价函数进行训练；

完成训练后，将该后处理网络置于由CRBM和编码器构成的深度神经网络顶层。