[发明专利]一种非监督视频语义提取方法

权利要求书

1.一种非监督视频语义提取方法，其特征在于，包括以下步骤：

S1：构建三维卷积神经网络模型，使用视频数据库中带标签的UCF-101视频集训练三维卷积神经网络模型；

S2：使用滑动窗口将视频数据库中不带标签视频数据处理成符合三维卷积神经网络输入的数据；

S3：使用S2步骤生成数据作为三维卷积神经网络模型的输入数据，取三维卷积神经网络模型全连接层的输出数据作为视频段的语义特征；

S4：使用S3步骤生成的视频段语义特征序列作为视频语义自编码器的输入，通过自编码器整合得到视频整体语义特征；

步骤S1包括下列子步骤：

S11：构建包含五层卷积层、池化层，两层全连接层和一层SOFTMAX层的三维卷积神经网络模型；

S12：在使用视频数据库中带标签的UCF-101视频集训练三维卷积神经网络之前，需要对视频数据集视频预处理：将UCF-101视频集中的原始视频需要按照一定的FPS转化为视频帧图片集，对图片进行大小调整、噪声过滤的图像预处理，将图片转化为112*112的统一规格；

S13：经过预处理的UCF-101视频集训练视频对应数据形式为(X_n,L_n)：n为训练视频个数，其中X_n＝[x_n(1),x_n(2),x_n(3),...,x_n(m)]是视频X_n经过预处理后的视频图片集合，m为视频转化为图片帧的个数，本方法使用ffmpeg将视频按照每秒20帧转化为图片序列，L_n为视频X_n对应标签类型；

S14：基于三维卷积神经网络模型和学习算法，使用经过预处理的UCF-101视频数据集，训练一个具有高识别率的视频种类识别模型；

步骤S2包括下列子步骤：

S21：将测试数据中视频帧图片数量m不满足m＝kw的视频帧图片集进行补充处理，其中，k为任意整数，w为滑动窗口的大小，将视频最后一帧的图片进行复制操作直到满足m为w的倍数；

S22：使用滑动窗口对视频帧序列进行滑动读取帧图片，滑动步长为滑动窗口的一半，每滑动一次，获取的帧图片为三维卷积神经网络的一次输入；取滑动窗口大小w＝16，因此测试数据形式经过处理变为w代表一次滑动窗口取得的图片集合，其中代表窗口滑动第k次滑动获得视频图片集；

S31：使用S1中使用UCF-101视频集训练得到的三维卷积神经网络模型识别S2中处理后的测试视频数据

S32：将三维卷积神经网络的全连接层的输出固定为子动作种类个数；

S33：三维卷积神经网络输入为S22中定义的输出为第一层全连接层的输出F_k＝[f₁,f₂,f₃,...,f₄₀₉₆]，其中F_k的维度4096为三维卷积神经网络第一层全连接层的输出维度；

S34：测试视频数据对应三维卷积神经网络输出为[F₁,F₂,F₃,...,F_k]其维度为4096*k维。

2.根据权利要求1所述的一种非监督视频语义提取方法，其特征在于，步骤S4包括下列子步骤：

S41：使用S3中三维卷积神经网络模型对测试视频数据语义特征提取结果[F₁,F₂,F₃,...,F_k]作为视频语义自编码器的输入提取视频整体语义特征；

S42：循环自编码器将输入特征序列[F₁,F₂,F₃,...,F_k]转化为特征对序列[[F₁,F₂],[F₂,F₃],[F₃,F₄],...,[F_k-1,F_k]]，采取贪心算法思想，其过程为依次选取特征对序列中的每一对特征将其整合为一个父特征，表示为：F_1,2＝f(W⁽¹⁾[F₁,F₂]+b⁽¹⁾)，其中W⁽¹⁾代表n*n的矩阵参数，b⁽¹⁾是一个偏置项，W⁽¹⁾与b⁽¹⁾是通过学习特征序列对得到的；F_1,2的重构过程为：[F₁',F₂']＝W⁽²⁾F_1,2+b⁽²⁾其中W⁽²⁾代表n*n的矩阵参数，b⁽²⁾是不同于b⁽¹⁾的偏置项，同样W⁽²⁾与b⁽²⁾是通过学习重构误差得到；自编码器的重构误差为：循环自编码器的目标函数为：其中A(x)表示输入序列[F₁,F₂,F₃,...,F_k]对应的语义树的所有可能，T(y)表示所有可能的特征对，循环自编码的一次编码过程是选出所有编码对中重构误差最小的一个特征对，将这对特征从特征序列中移除并将其父特征作为这一个特征对的代表组成一个新的特征序列；

S43：重复S42的自编码过程，直到特征序列中特征向量个数为1；

S44：循环自编码器输出最终的特征向量作为视频X_n的语义特征向量。