[发明专利]基于双目摄像头的安全作业智能监控系统及方法

说明书

技术领域

本发明涉及图像处理、模式识和自动化技术领域，尤其涉及基于双目摄像头的安全作业智能监控系统及方法。

背景技术

疲劳驾驶是导致高交通事故中比较重要的因素，因而如何高效、准确、快速的检测驾驶员是否在疲劳驾驶，并在已知疲劳驾驶的情况下如何防止，就显得尤为重要。

目前检测疲劳驾驶的技术手段主要是通过机器视觉的方式，主要检测眼睛或嘴巴的运动状态(是否闭合、张开等状态)，通过某种状态机判断当前是否是疲劳驾驶状态；由于受驾驶舱环境光照等复杂多变的因素影响，导致检测眼睛或嘴巴的位置定位不够准确，结果会导致估计眼睛或嘴巴的运动状态不够精确，导致无检测概率比较大，而且对检测到的疲劳驾驶状态都是通过语音进行报警，这样从本质上没有制止疲劳驾驶带来的交通事故。

发明内容

针对上述问题中存在的不足之处，本发明提供一种基于双目摄像头的安全作业智能监控系统及方法。

为实现上述目的，本发明的第一目的在于提供一种基于双目摄像头的安全作业智能监控系统，包括：设置在驾驶员前方的智能设备、车载中控台和安装在驾驶员座椅上的振动反馈装置；

所述智能设备包括：

左摄像头，用于拍摄包含眼睛和嘴巴的左图像数据；

右摄像头，用于拍摄包含眼睛和嘴巴的右图像数据；

处理器，用于对左右图像数据进行滤波、ROI区域提取、深度计算，获取ROI区域的深度图像；将深度图像送入到离线训练得到的眼睛、嘴巴识别模型中，获取眼睛和嘴巴图像区域；对眼睛和嘴巴图像区域进行边缘点检测，计算沿眼睛或嘴巴闭合方向上相对应两边缘点的最大距离，作为眼睛关键距离和嘴巴关键距离；判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令；

车载中控台接收报警指令，控制振动反馈装置振动，实现对驾驶员的提醒。

作为本发明的进一步改进，所述处理器包括：

滤波模块，用于对左右图像数据分别进行高斯平滑滤波，平滑窗口为7*7；

ROI区域提取模块，用于对滤波后的左右图像数据，提取包含眼睛和嘴巴信息的左ROI区域和右ROI区域；

深度图像获取模块，用于利用双目摄像头的标定参数及双目成像原理，对左右ROI区域进行深度计算，获取ROI区域的深度图像；

识别模型建立模块，用于对采集的大样本进行半监督随机森林学习，人工对大样本ROI区域中驾驶员的眼睛和嘴巴进行分类，建立眼睛、嘴巴的识别模型；该样本包括：嘴巴的张开及闭合、眼睛的张开及闭合；

识别模块，用于将ROI区域的深度图像送入到识别模型中，进行像素分类，获取眼睛和嘴巴图像区域；并对眼睛和嘴巴图像区域分别进行PCA计算，获取眼睛区域和嘴巴区域的二维图像方向；

边缘检测模块，用于对眼睛和嘴巴图像区域分别进行边缘检测，将检测到的边缘点按照顺时针或逆时针进行排序，得到由边缘点组成的眼睛轮廓和嘴巴轮廓；根据眼睛和嘴巴轮廓以及眼睛区域和嘴巴区域的二维图像方向，得到眼睛分割线和嘴巴分割线，计算眼睛分割线或嘴巴分割线两侧相对应的眼睛边缘点或嘴巴边缘点之间的最大距离，作为眼睛关键距离和嘴巴关键距离；

判断模块，用于判断眼睛关键距离是否小于阈值T1、嘴巴关键距离是否大于阈值T2，若是，则证明眼睛闭合、嘴巴张开；继续判断在预设时间A内，眼睛闭合和/或嘴巴张开的时间是否达到报警阈值；若达到，则向车载中控台发送报警指令。

作为本发明的进一步改进，所述报警阈值为A1、A2、A3，其中：0＜A1＜A2＜A3＜A；

当眼睛闭合和/或嘴巴张开的时间大于A1且小于A2，则处理器向车载中控台发送振动模式1的报警指令，振动模式1为慢速振动；

当眼睛闭合和/或嘴巴张开的时间大于A2且小于A3，则处理器向车载中控台发送振动模式2的报警指令，振动模式2为中速振动；

当眼睛闭合和/或嘴巴张开的时间大于A3且小于A，则处理器向车载中控台发送振动模式3的报警指令，振动模式3为快速振动。

作为本发明的进一步改进，所述智能设备安装在驾驶员前方的仪表盘上。

作为本发明的进一步改进，所述车载中控台与处理器、振动反馈装置的数据传输形式均采用蓝牙传输。

本发明的第二目的在于提供一种基于双目摄像头的安全作业智能监控方法，包括：