[发明专利]一种网约车司乘人员的行为智能识别检测方法及系统

说明书

本发明提出了一种网约车司乘人员的行为智能识别检测方法及系统，属于图像信号处理和数据采集技术领域。本方法包括：构建异常检测模型；采集司机和乘客的实时监控视频图像数据及体温信息，并进行预处理；针对所述采集信息基于检测模型进行异常行为识别；识别异常后进行语音提示并将异常行为上传服务端后台做相应的评分处理。所述的异常检测模型包括：口罩识别模型，面部检测模型和体温检测模型，基于上述模型，本方法能够完成司机的人脸确认、司机的危险驾驶行为检测、司机和乘客的口罩检测以及司机和乘客的体温检测和异常人员位置定位，可以准确有效的识别出司乘人员的危险驾驶、违反疫情防控规定的行为，实现智能识别监控的目的。

技术领域

本发明涉及图像信号处理和数据采集技术领域，具体涉及一种网 约车司乘人员的行为智能识别检测方法及系统。

背景技术

研究调查发现，网约车司机在驾驶中出现分心与乘客聊天、手持 电话、吸烟等危险驾驶行为以及疲劳驾驶是引发道路事故的重要因 素。因此，对危险驾驶行为进行有效检测成为了交通领域的研究热点。

发明内容

本发明提供了一种网约车司乘人员的行为智能识别检测方法及 系统，尽可能的解决在上述背景技术中所提到的相关问题，从而达到 该发明的系统设计能够有效帮助提醒网约车司机非正常驾驶操作，提 高网约车司机的专注度，降低交通事故造成的财产损失和人员伤亡并 保证疫情防控的政策落实。

为了达到上述目的，本发明采取的技术方案为：一种网约车司乘 人员行为的智能识别检测方法，其特征在于，主要包括如下步骤：

(1)构建异常检测模型；

(2)采集司机和乘客的实时监控视频图像数据及体温信息，并 进行预处理；

(3)针对所述采集信息基于步骤(1)的检测模型进行异常行为 识别；

(4)识别异常后进行语音提示并将异常行为上传服务端后台做 相应的评分处理。

进一步的，所述的异常检测模型包括：口罩识别模型，面部检测 模型和体温检测模型。

进一步的，所述口罩识别模型为单个深度神经网络SSD模型，所 述单个深度神经网络SSD模型以VGG-16架构为基础，以300*300尺 寸图像为输入，包含三个预处理卷积层和五个特征提取卷积层的特征 提取网络，只保留了相关的分类损失：检测框回归损失和面部标志回 归损失，去掉了面部密集点和回归损失，定义匹配成功的标准为两者 区域的重合部分(overlap)大于阈值0.5定义网络的目标损失函数为：

其中，N为匹配的检测结果的个数，L_loc为位置损失，L_conf为置信度损 失，α为权重，设置为1。

进一步的，所述步骤(3)中，使用所述深度神经网络SSD模型， 提取所述司机和乘客的面部图像，对所述司机和乘客是否正确佩戴口 罩进行检测，检测有口罩并盖住口鼻判定为正确佩戴，检测有口罩并 漏出口鼻、口罩在嘴部下方以及未检测到有口罩则判定为异常。

进一步的，所述面部检测模型为运用压缩与激励网络SeNet结合 多任务卷积神经网络MTCNN训练针对司机面部图像信息，其生成方法 如下：

Resize部分对输入图像进行缩放，得到不同尺寸的输入图像，堆 叠得到图像金字塔；

将图片金字塔作为P-Net的输入，P-Net为一个全卷积网络，经 过三层的卷积，得到输入图像人脸位置的建议区域，提供给R-Net；

R-Net接收到P-Net的众多建议位置后，经过卷积神经网络输出 置信度高的人脸区域，提供给O-Net使用；

O-Net输出：除人脸位置信息外还会输出人脸区域上的五个特征 点；