[发明专利]基于深度学习的防偷拍检测方法

摘要

本发明公开一种基于深度学习的防偷拍检测方法，其步骤为：1、构建深度学习的目标检测网络；2、生成训练集；3、采取多种尺度画框方式对图片中的同一偷拍行为进行标记；4、训练深度学习网络；5、检测偷拍行为；6、对无偷拍行为的图片进行图像增强；7、对特征增强后的图像再次进行检测。本发明通过在对数据集进行标记时采取多种尺度画框方式，克服了因偷拍行为动作多样化导致的检测正确率低的问题，构建了深度学习网络并对人形区域进行图像增强处理，保证了在监控视频中的偷拍行为检测上能够达到实时效果，并具有较高的正确率。

主权项

1.一种基于深度学习的防偷拍检测方法，其特征在于，构建深度学习的目标检测网络，采取多种尺度画框方式对图片进行标记，对无偷拍行为的图片进行图像增强，该方法的步骤如下：(1)构建深度学习的目标检测网络：(1a)搭建一个由四个模块组成的Yolov3目标检测网络具体结构如下：所述第一个模块的结构依次为：输入层→第1卷积层→第2卷积层→第一卷积子模块→第3卷积层→第二卷积子模块→第4卷积层→第三卷积子模块→第5卷积层→第四卷积子模块→第6卷积层→第五卷积子模块；所述第二卷积子模块是由四个依次串联的第一卷积单元组成；所述第三卷积子模块由八个依次串联的第2卷积单元组成；所述第四卷积子模块是由八个依次串联的第3卷积单元组成；所述第五卷积子模块是由四个依次串联的第4卷积单元组成；所有卷积单元的结构均依次为:两个依次串联的卷积层→ResNet层，每个ResNet层将所在卷积子模块的输入端连接并合并到输出端；所述第二个模块的结构依次为：第7卷积层→第8卷积层→第9卷积层→第10卷积层→第11卷积层→第12卷积层→第13卷积层→输出层；所述第三个模块的结构依次为：第14卷积层→上采样层→第1concat层→第15卷积层→第16卷积层→第17卷积层→第18卷积层→第19卷积层→第20卷积层→第21卷积层→输出层；所述第四个模块的结构依次为：第22卷积层→上采样层→第2concat层→第23卷积层→第24卷积层→第25卷积层→第26卷积层→第27卷积层→第28卷积层→第29卷积层→输出层；将第一个模块中的第五卷积子模块与第二个模块中第7卷积层相连，将第二个模块中第11卷积层与第三个模块中第14卷积层相连，将第三个模块中第19卷积层与第四个模块中第22卷积层相连；将第一个模块中的第四卷积子模块与第三个模块中的第1concat层相连，将第一个模块中的第三卷积子模块与第四个模块中的第2concat层相连，组成Yolov3目标检测网络；(1b)设置深度学习的目标检测网络每层的参数如下：将第1至第6卷积层的所有卷积核大小均设置为3*3，通道数依次设置为32,64,128,256,512,1024，第1卷积层步长设置为1，将第2至第5卷积层的步长均设置为2；将第7、9、11卷积层的卷积核大小均设置为1*1，通道数均设置为512，步长均设置为1；将第8、10、12卷积层的卷积核大小均设置为3*3，通道数均设置为1024，步长均设置为1；将第14卷积层的卷积核大小设置为1*1，通道数设置为256，步长设置为1；将第15、17、19卷积层的卷积核大小均设置为1*1，通道数均设置为256，步长均设置为1；将第16、18、20卷积层的卷积核大小均设置为3*3，通道数均设置为512，步长均设置为1；将第22卷积层的卷积核大小设置为1*1，通道数设置为128，步长设置为1；将第23、25、27卷积层的卷积核大小均设置为1*1，通道数均设置为128，步长均设置为1；将第24、26、28卷积层的卷积核大小均设置为3*3，通道数均设置为256，步长均设置为1；将第13、21、29卷积层的卷积核大小均设置为1*1，通道数均设置为255，步长均设置为1；将第1卷积子模块以及第1至第4卷积单元中两个卷积层的卷积核大小依次分别设置为1*1和3*3，步长均设置为1，将第1卷积子模块中两个卷积层的通道数依次分别设置为32和64，将第1卷积单元中两个卷积层的通道数依次分别设置为64和128，将第2卷积单元中两个卷积层的通道数依次分别设置为128和256，将第3卷积单元中两个卷积层的通道数依次分别设置为256和512，将第4卷积单元中两个卷积层的通道数依次分别设置为512和1024；将上述四个模块中所有上采样层的步长均设置为2；(2)生成训练集：(2a)采集至少1万张图片组成深度学习数据集，其中，60％的图片中有偷拍行为，40％的图片中没有偷拍行为；(2b)从有偷拍行为的所有图片中随机提取80％的图片，从没有偷拍行为的所有图片中随机提取80％的图片组成训练集；(3)采取多种尺度画框方式对图片中的同一偷拍行为进行标记：(3a)对有同一偷拍行为的所有图片中偷拍所使用的拍照设备的外围画框做标记；(3b)对有同一偷拍行为的所有图片中偷拍所使用的拍照设备以及拍照设备上出现的一部分人手的外围画框做标记；(3c)对有同一偷拍行为的所有图片中包括完整的人手和拍照设备的偷拍动作轮廓的外围画框做标记；(3d)对深度学习数据集中每张图片的人形区域画框进行标记，得到标记好的训练集图片；(4)训练深度学习网络：将已经标记好的训练集图片输入到Yolov3目标检测网络中，对网络参数进行迭代更新，当损失函数下降到0.1以下时停止训练，得到训练好的Yolov3目标检测网络；(5)检测偷拍行为：(5a)将待检测的室内环境中实时采集的一张图片输入到训练好的Yolov3目标检测网络中，输出该张图片的一张相应已标出检测目标的图片以及网络所计算出的该目标类别的得分值；(5b)将偷拍行为的得分值的判断阈值设置为0.5，如果检测到的偷拍行为得分值小于0.5，认为没有偷拍行为；如果检测到的偷拍行为得分值大于0.5，认为有偷拍行为，输出偷拍行为的得分值及其位置信息；(6)对无偷拍行为的图片进行图像增强：(6a)如果图片中没有检测到偷拍行为，判断是否能够检测到人形区域，将检测到的人形区域得分值大于0.5的图片确认为有人，将检测到的人形区域得分值小于0.5的图片确认为没有人；(6b)如果能够检测到人形区域，将图片中已检测出的人形区域进行局部均衡化处理；如果没有检测到人形区域，认为该图片中无偷拍行为；(7)对特征增强后的图像再次进行检测：将进行局部直方图均衡化之后的图像再次输入深度学习网络中，重新对图片进行偷拍行为检测。