[发明专利]一种网约车司乘人员的行为智能识别检测方法及系统

权利要求书

1.一种网约车司乘人员行为的智能识别检测方法，其特征在于，主要包括如下步骤：

(1)构建异常检测模型；

(2)采集司机和乘客的实时监控视频图像数据及体温信息，并进行预处理；

(3)针对所述采集信息基于步骤(1)的检测模型进行异常行为识别；

(4)识别异常后进行语音提示并将异常行为上传服务端后台做相应的评分处理。

2.根据权利要求1所述的网约车司乘人员的行为智能识别检测方法，其特征在于：所述的异常检测模型包括：口罩识别模型，面部检测模型和体温检测模型。

3.根据权利要求2所述的网约车司乘人员的行为智能识别检测方法，其特征在于：所述口罩识别模型为单个深度神经网络SSD模型，所述单个深度神经网络SSD模型以VGG-16架构为基础，以300*300尺寸图像为输入，包含三个预处理卷积层和五个特征提取卷积层的特征提取网络，只保留了相关的分类损失：检测框回归损失和面部标志回归损失，去掉了面部密集点和回归损失，定义匹配成功的标准为两者区域的重合部分(overlap)大于阈值0.5，定义网络的目标损失函数为：

其中，N为匹配的检测结果的个数，L_loc为位置损失，L_conf为置信度损失，α为权重，设置为1。

4.根据权利要求3所述的网约车司乘人员的行为智能识别检测方法，其特征在于：所述步骤(3)中，使用所述单个深度神经网络SSD模型，提取所述司机和乘客的面部图像，对所述司机和乘客是否正确佩戴口罩进行检测，检测有口罩并盖住口鼻判定为正确佩戴，检测有口罩并漏出口鼻、口罩在嘴部下方以及未检测到有口罩则判定为异常。

5.根据权利要求2所述的网约车司乘人员的行为智能识别检测方法，其特征在于：所述面部检测模型为运用压缩与激励网络SeNet结合多任务卷积神经网络MTCNN训练针对司机面部图像信息，其生成方法如下：

Resize部分对输入图像进行缩放，得到不同尺寸的输入图像，堆叠得到图像金字塔；

将图片金字塔作为P-Net的输入，P-Net为一个全卷积网络，经过三层的卷积，得到输入图像人脸位置的建议区域，提供给R-Net；R-Net接收到P-Net的众多建议位置后，经过卷积神经网络输出置信度高的人脸区域，提供给O-Net使用；

O-Net输出：除人脸位置信息外还会输出人脸区域上的五个特征点；

给数据集添加睁眼、闭眼、张嘴、闭嘴、抽烟、打电话的类别，并存储本车司机图像信息；

在MTCNN的基础上，添加一个具有3个卷积层的卷积神经网络训练分类模型。

6.根据权利要求5所述的网约车司乘人员的行为智能识别检测方法，其特征在于：步骤(3)中，使用所述面部检测模型，提取所述司机面部图像；

与数据集中的所述本车司机信息进行比对，如果不是本车司机则判定为异常；

计算所述司机眼睛的张开程度与嘴部的张开程度，根据PERCLOS算法计算单位时间内闭眼时间所占的比例数值p，统计单位时间内嘴部动作频率F，根据以下数据融合算法，计算得到疲劳阈值γ；

高于阈值，则判定司机处于疲劳状态；

提取特征，分割和匹配处理判定是否为打电话、抽烟或脱岗的异常行为。

7.根据权利要求2所述的网约车司乘人员的行为智能识别检测方法，其特征在于：所述体温检测模型，具体为设定体温阈值；所述步骤(3)中，对所述司机和乘客的体温进行监测，高于阈值则判定为异常。

8.根据权利要求7所述的网约车司乘人员的行为智能识别检测方法，其特征在于：所述步骤(3)还包括，识别到所述体温异常信息时获取异常人员的定位信息。

9.一种网约车司乘人员行为的智能识别检测系统，其特征在于：包括录入模块，采集模块，识别模块、通信模块和语音播放模块；

所述录入模块用于构建异常检测模型；

所述采集模块用于采集司机和乘客的实时监控视频图像数据及体温信息；

所述识别模块使用所述异常检测模型判定所述司机和乘客的图像和体温信息是否异常；

所述通信模块用于将异常行为上传服务端后台做相应的评分处理；

所述语音播放模块用于识别异常后进行语音提示。