[发明专利]一种基于级联卷积神经网络的人脸遮挡检测方法

摘要

一种基于级联卷积神经网络的人脸遮挡检测方法，包括如下步骤：1)获取视频帧图像；2)对图像进行归一化处理，并复制保存两份；3)图像1进行灰度化，对亮度失衡图像进行直方图均衡化处理；4)采用三级级联网络以多尺度滑动窗口形式进行人头检测，并保存符合条件的窗口坐标及尺寸；5)对窗口坐标进行聚类分析，得到目标窗口方位；6)根据所得数据在图像2中截取出人头区域，进行归一化处理和亮度调节；7)分区域采用二级眼睛/嘴巴级联网络以多尺度滑动窗口形式分别进行眼睛和嘴巴检测，若均不符合设定条件，则判定为眼睛/嘴巴被遮挡，触发报警。本发明对光照、姿态鲁棒性强，适应多种遮挡物类型，检测精度较高。

主权项

1.一种基于级联卷积神经网络的人脸遮挡检测方法，所述检测方法包括如下步骤：1)获取连续视频中的第i帧图像Ii的获取；2)对当前视频帧图像进行归一化处理，并复制保存为两份，和3)对图像利用训练好的三级人头级联卷积神经网络进行人头检测，具体过程如下：3.1)对图像进行灰度变换，并判断其全局亮度指数λ；3.2)对步骤3.1)中过亮或过暗的图片进行直方图均衡化，得到图像3.3)将图像通过多尺度滑动窗口利用训练好的三级人头级联卷积神经网络进行人头检测，具体过程如下：对图像以多尺度窗口进行滑动，各窗口归一化后进入训练好的第一级人头卷积神经网络，如果当前窗口满足设定阈值λ₁时，该窗口进入第二级网络进行检测，以此类推，如果当前窗口满足设定阈值λ₂时，该窗口进入第三级网络进行检测，最终记录符合级联网络各个条件的检测窗口的坐标及尺寸；3.4)对各个符合条件的滑动窗口的坐标进行聚类分析，得到最终的目标窗口坐标与大小；4)对图像进行眼睛与嘴巴检测，具体过程如下；4.1)根据步骤3.4)人头检测得出的坐标和尺寸在图像中截选出人头区域图像4.2)对归一化处理后的图像先进行HSV变换，判断亮度情况，对过亮或过暗的图片进行Gamma变换，得到图像4.3)对图像利用训练好的二级眼睛级联卷积神经网络、二级嘴巴级联卷积神经网络分区域并行进行眼睛和嘴巴检测，判断是否存在遮挡，具体过程如下：为了加快检测速度，设定眼睛检测区域为图像上方2/3区域，嘴巴检测区域为图像下方2/3区域，以多尺度窗口同时在两个区域进行滑动，各窗口归一化后批量进入第一级眼睛卷积神经网络或嘴巴卷积神经网络进行判断，当符合设定条件时，依次进入第二级眼睛或嘴巴卷积神经网络进行判断，检测过程中如果没有符合条件的窗口出现，则输出眼睛被遮挡或嘴巴被遮挡，触发报警。