[发明专利]基于视频智能算法的疲劳检测方法及系统

摘要

本发明公开了一种基于视频智能算法的疲劳检测系统及方法，系统包括多个疲劳检测设备、监控中心和监控客户端，所述的疲劳检测设备采集工作人员的视频图像，所述的监控中心或者疲劳检测设备对采集的视频图像进行疲劳检测，所述的检测包括判断工作人员是否在岗、判断工作人员的眼睛和嘴巴的开合度、以及通过加权平均计算对工作人员一定时间内眼睛和嘴巴的开合度达到阈值的频率；其中，开合度的阈值为自行设定；所述的监控客户端接收来自监控中心推送过来的多个疲劳检测设备的状态。本发明提供用户多多目标进行疲劳检测，适用于对集中力要求高的工作领域以及行车领域。

主权项

基于视频智能算法的疲劳检测方法，其特征在于：包括以下步骤：S1：疲劳检测设备采集工作人员的视频图像；S2：疲劳检测设备或者监控中心对采集的视频图像进行疲劳检测，所述疲劳检测包括以下子步骤：S21：通过人脸识别判断工作人员是否在岗，如果在岗的话则进入步骤S22；S22：对于在岗情况，对工作人员的眼睛和嘴巴的开合度进行分析；S23：通过加权平均计算对工作人员一定时间内眼睛和嘴巴的开合度达到阈值的频率；其中，开合度的阈值为自行设定；S3：监控客户端接收来自监控中心推送过来的多个疲劳检测设备的状态；其中，对眼睛的开合度判断方法为：S101：通过人脸检测器和肤色模型进行人脸检测，输出最终人脸区域；S102：通过人眼检测器和人眼合成模板在所述最终人脸区域实现人眼定位，输出人眼精确定位区域，并更新所述人眼合成模板；S103：对所述人眼精确定位区域进行人眼轮廓点采样，获取采样点，对所述采样点进行椭圆拟合，当短半轴和长半轴的比值小于第一阈值时，则为小于开合度，否则大于开合度；S104：重新执行步骤S101，在连续N帧内小于开合度状态所占比例大于第二阈值时，则判断为疲劳状态，否则为清醒状态；其中，第一阈值和第二阈值均可根据要求进行自定义；其中，所述通过人脸检测器和肤色模型进行人脸检测，输出最终人脸区域的步骤具体包括：S101‑1）基于Haar特征和Adaboost级联分类器构建所述人脸检测器，将当前一帧被检测视频图像输入至所述人脸检测器；S101‑2）所述人脸检测器判断被检测视频图像中是否包含人脸，如果是，获取人脸的位置信息，记为候选人脸区域，执行步骤S101‑3）；如果否，输入当前帧的下一帧被检测视频图像至所述人脸检测器，重新执行步骤S101‑2），直至遍历完被检测视频图像的所有帧；S101‑3）通过HSV色彩空间的肤色检测模型对所有候选人脸区域进行检测，判断当前候选人脸区域是否存在肤色信息，如果是，执行步骤S101‑5）；如果否，执行步骤S101‑4）；S101‑4）判断下一候选人脸区域是否存在肤色信息，如果是，执行步骤S101‑5）；如果否，判决为闭眼，即也是处于小于开合度状态；S101‑5）输出初始人脸区域；S101‑6）对所述初始人脸区域进行融合，获取所述最终人脸区域：计算所有初始人脸区域中心的平均值作为融合后人脸区域的中心，然后计算所有人脸区域半径的平均值作为融合后人脸区域的半径；其中，所述通过人眼检测器和人眼合成模板在所述最终人脸区域实现人眼定位，输出人眼精确定位区域的步骤具体包括：S102‑1）通过所述最终人脸区域对人眼进行粗定位，输出人眼粗定位区域；S102‑2）基于Haar特征和Adaboost级联模型构建所述人眼检测器，在所述人眼粗定位区域的基础上，通过所述人眼检测器和所述人眼合成模板进行精确定位，输出所述人眼精确定位区域；所述基于Haar特征和Adaboost级联模型构建所述人眼检测器，在所述人眼粗定位区域的基础上，通过所述人眼检测器和所述人眼合成模板进行精确定位，输出所述人眼精确定位区域的步骤具体包括：1）通过所述人眼检测器判断所述人眼粗定位区域是否存在人眼，如果是，进行人眼合成模板学习；如果否，重新执行步骤1）；2）通过所述人眼检测器和所述人眼合成模板分别对所述人眼粗定位区域分别进行处理，获取人眼检测区域和人眼匹配区域，以及两区域中心点的欧氏 距离；3）判断所述欧氏距离是否小于第一阈值T1，如果是，执行步骤4）；如果否，执行步骤5）；4）融合所述人眼检测区域和所述人眼匹配区域，获取人眼精确定位区域，更新所述人眼合成模板：计算所述人眼检测区域和所述人眼匹配区域中心的平均值作为融合后所述人眼精确定位区域的中心，计算所述人眼检测区域和所述人眼匹配区域半径的平均值作为融合后所述人眼精确定位区域的半径，并截取所述人眼精确定位区域合成新的人眼合成模板；5）所述人眼匹配区域为所述人眼精确定位区域。