[发明专利]基于深度学习训练重构图的视频识别方法及系统

权利要求书

1.一种基于深度学习训练重构图的视频识别方法，包括：

对待识别的视频片段进行取样；

利用CNN训练得到的不同行为的识别库对取样的视频片段进行识别，得到不同行为出现的概率；以及

预先对各个行为划分类别，根据不同行为出现的概率，统计的出现概率最高的类别作为视频的内容；

其中，CNN训练得到所述不同行为的识别库的方法，包括：

对待训练的视频片段进行取样；

对取样的视频片段进行帧处理，得到黑白的连续帧图像；

利用连续帧图像构建涵盖取样的视频片段信息的原始数据重构图和二维运动场序列重构图；

将原始数据重构图和二维运动场序列重构图作为输入数据进行CNN训练；以及

选用大量样本重复进行CNN训练，直至对所训练行为的识别误差率符合要求，形成单动作行为识别系统；针对不同动作行为实施CNN训练，得到包含多个单动作行为的识别库。

2.根据权利要求1所述的视频识别方法，其中，所述利用连续帧图像构建涵盖取样的视频片段信息的原始数据重构图，包括：

先将一帧中的每个像素点与周围四点计算梯度并取平均值，边缘点忽略，将所有计算完毕的点作成一横向序列；重复处理该取样的视频片段里面的所有连续帧图像，将得到的所有横向序列按纵向排列作成矩阵，便得到涵盖取样的视频片段信息的原始数据重构图。

3.根据权利要求1所述的视频识别方法，其中，所述利用连续帧图像构建涵盖取样的视频片段信息的二维运动场序列重构图，包括：

先将相邻的两帧的所有特征点进行匹配，根据匹配的点运算得到前一帧的二维速度作为前一帧的特征点位置，得到每帧的二维运动场序列，再将多帧的序列按纵向排列作成矩阵，便得到建涵盖取样的视频片段信息的二维运动场序列重构图。

4.根据权利要求1所述的视频识别方法，其中，所述对待训练的视频片段进行取样包括：采用一算法追踪移动物体，删减背景区域，使行为主体占帧总面积的80％以上。

5.根据权利要求4所述的视频识别方法，其中，所述算法为：KLT算法。

6.根据权利要求1所述的视频识别方法，其中，所述误差率的要求为5％以内。

7.根据权利要求1至6任一项所述的视频识别方法，其中，所述CNN有六层，包括：三个卷积层和三个池化层，同时每个卷积层包含20个卷积核，输出的种类由训练所预期的行为种类而定。

8.根据权利要求7所述的视频识别方法，其中，所述CNN训练的过程包括：输入数据-卷积-池化-卷积-池化-卷积-池化-输出-反向传播调参。

9.一种基于深度学习训练重构图的视频识别系统，包括：集成系统，该集成系统集成了CNN预先训练好的不同行为的识别库，以及各个行为对应的类别，其中该集成系统可根据视频识别的类型采用半定制化设计，将所需识别的行为的识别库进行定制；

其中，所述集成系统包括：识别库构建模块，所述识别库构建模块用于执行以下操作：

对待训练的视频片段进行取样；

对取样的视频片段进行帧处理，得到黑白的连续帧图像；

利用连续帧图像构建涵盖取样的视频片段信息的原始数据重构图和二维运动场序列重构图；

将原始数据重构图和二维运动场序列重构图作为输入数据进行CNN训练；以及

选用大量样本重复进行CNN训练，直至对所训练行为的识别误差率符合要求，形成单动作行为识别系统；针对不同动作行为实施CNN训练，得到包含多个单动作行为的识别库。