[发明专利]一种基于超分辨率重构的监控视频行人检测方法

权利要求书

1.一种基于超分辨率重构的监控视频行人检测方法，其特征在于：包括以下步骤：

步骤1：收集低分辨率监控视频图像；

步骤2：对收集到图像，缩小为原图的四分之一，和原图一起输入到SRGAN网络(超分辨率生成对抗网络)，对SRGAN网络进行预训练；

步骤3：将原图输入到预训练过的SRGAN网络，得到超分辨率图像；

步骤4：对超分辨率图像进行一次双线性插值(BilinearInterpolation,BI)，得到更清晰图像；

步骤5：将步骤4中得到的更清晰的图像输入到FasterR-CNN检测网络，进行行人检测。

2.根据权利要求1所述的基于超分辨率重构的监控视频行人检测方法，其特征在于：所述步骤2中对SRGAN网络(超分辨率生成对抗网络)进行预训练的具体步骤如下：

步骤2-1：将低分辨率图像缩小为原图的四分之一大小；

步骤2-2：将步骤2-1得到的图像输入到SRGAN网络，生成为输入图像的4倍超分辨率图像即为生成图，并将原图作为标签图，生成图与标签图计算差异值，实现SRGAN网络的预训练。

3.根据权利要求2所述的基于超分辨率重构的监控视频行人检测方法，其特征在于：所述步骤2中所述的SRGAN网络(超分辨率生成对抗网络)是由一个生成网络和一个判别网络组成；生成网络部分包含多个残差块和两个损失函数；所述步骤2-2为，将步骤2-1得到的图像输入到生成网络，并结合BN，生成超分辨率图像即生成图，将生成图与标签图一起输入到判别网络，判断是生成的高分辨率图像还是真正的高分辨率图像。

4.根据权利要求2所述的基于超分辨率重构的监控视频行人检测方法，其特征在于：所述残差块按顺序由1个的Conv-PReLU子网络结构，5个Conv-Bn-PReLU-Conv-BN子网络结构，1个Conv-BN子网络结构，一个Conv-PixelShuffler*2-PReLU子网络和一个Conv层组成。

5.根据权利要求3所述的基于超分辨率重构的监控视频行人检测方法，其特征在于：所述判别网络是由1个Conv-Leaky ReLU子网络块，7个Conv-BN-Leaky ReLU子网络块，一个Dense-Leaky ReLU-Dense子网络组成，其后接一个Sigmoid函数，进行二分类；所述判别网络还包含一个判别损失函数，用来判定生成图是不是真正的高分辨率图像。

6.根据权利要求1所述的基于超分辨率重构的监控视频行人检测方法，其特征在于：步骤5包括：

步骤5-1：将清晰图resize大小到224*224*3；

步骤5-2：输入224*224*3大小的图像到FasterR-CNN检测网络训练，得到模型，进行行人检测，返回行人框坐标，将画有行人框的图像输出。

7.根据权利要求6所述的基于超分辨率重构的监控视频行人检测方法，其特征在于：所述的FasterR-CNN检测网络是一个由ResNet50作为基本网络结构，后接RPN(RegionProposal Network，提取候选框网络)层，再经RoI pooling层得到感兴趣区域，对感兴趣区域进行分类，最后在原图画出行人的外接框。

8.根据权利要求7所述的基于超分辨率重构的监控视频行人检测方法，其特征在于：FasterR-CNN检测网络的网络输入层是大小为224*224*3的RGB图像；FasterR-CNN首先使用ResNet50网络提取图像的特征图；该特征图被共享用于后续RPN层和全连接层；

所述RPN网络用于生成region proposals(区域候选框)，该层通过softmax函数判断anchors属于正样本还是负样本，再利用bounding box regression(候选框回归)来修正anchors获得精确的候选框；

所述Roi Pooling，该层收集输入的特征图和候选框，综合这些信息后提取proposalfeature maps(候选框特征)，送入后续全连接层判定目标类别；分类层，利用proposalfeature maps计算候选框的类别，同时再次bounding box regression获得检测最终的精确位置。