[发明专利]对驾驶员的驾驶行为进行检测的方法

摘要

本发明提供一种对驾驶员的驾驶行为进行检测的方法，包括获取步骤；检测步骤，其能够同时检测每一帧图像中的眼部状态、嘴部状态、香烟状态和电话状态；判断步骤，其能够同时执行闭眼疲劳状态判断、哈欠疲劳状态判断、吸烟违规状态判断和通话违规状态判断步骤：和报警步骤，其发出声音或发光，并将视频或图像发送到外部设备，其中，检测步骤使用基于卷积神经网络的算法，该卷积神经网络包括至少一个卷积层、至少一个residual层、一个全局池化层和一个全连接层，其中，每个卷积层中都依次设置有一个BN层和一个LeakyReLU层。

主权项

1.一种对驾驶员的驾驶行为进行检测的方法，其特征在于，包括：获取步骤，其拍摄驾驶员在驾驶过程中的视频，以同时获得驾驶员的眼部状态、驾驶员的嘴部状态、香烟状态和电话状态中的每一者的多帧图像；和检测步骤，其能够同时执行如下步骤以在每一帧图像中：检测眼部状态是否符合闭眼状态，若检测到眼部状态不符合闭眼状态，则将闭眼起始时间和闭眼连续时长均设置为0；若第一次检测到眼部状态符合闭眼状态，则将当前时间设置为闭眼起始时间；若上一帧图像和与上一帧图像连续的下一帧图像均检测到眼部状态符合闭眼状态，则将所述下一帧图像的当前时间与闭眼起始时间之间连续的时长设置为闭眼连续时长；检测嘴部状态是否符合哈欠状态，若检测到嘴部状态不符合哈欠状态，则将哈欠起始时间、哈欠连续时长和哈欠次数均设置为0；若第一次检测到嘴部状态符合哈欠状态，则将当前时间设置为哈欠起始时间；若上一帧图像和与该上一帧图像连续的下一帧图像均检测到嘴部状态符合哈欠状态，则将所述下一帧图像的当前时间与哈欠起始时间之间连续的时长设置为哈欠连续时长；检测香烟状态是否符合吸烟状态，若检测到香烟状态不符合吸烟状态，则将吸烟次数初始化为0；若检测到香烟状态符合吸烟状态，则将吸烟次数加1，且在此后的吸烟设定时间期间内不将吸烟次数归为0；检测电话状态是否符合通话状态，若检测到电话状态不符合通话状态，则将通话起始时间和通话连续时长均设置为0；若第一次检测到电话状态符合通话状态，则记录当前时间为通话起始时间；若上一帧图像和与该上一帧图像连续的下一帧图像均检测到电话状态符合通话状态，则将所述下一帧图像的当前时间与通话起始时间之间连续的时长设置为通话连续时长；判断步骤，其能够同时执行如下闭眼疲劳状态判断、哈欠疲劳状态判断、吸烟违规状态判断和通话违规状态判断步骤：在闭眼疲劳状态判断中，判断闭眼连续时长是否达到闭眼预定时长，若是，则驾驶员处于闭眼疲劳状态；在哈欠疲劳状态判断中，判断哈欠连续时长是否达到哈欠预定时长，若哈欠连续时长达到哈欠预定时长，则哈欠次数加1，若哈欠次数在哈欠设定时间期间内达到哈欠预定次数，则驾驶员处于哈欠疲劳状态；在吸烟违规状态判断中，判断吸烟次数是否在吸烟设定时间期间内达到吸烟预定次数，若是，则驾驶员处于吸烟违规状态；在通话违规状态判断中，判断通话连续时长是否达到通话预定时长，若是，则驾驶员处于通话违规状态；报警步骤，其在驾驶员处于闭眼疲劳状态、哈欠疲劳状态、吸烟违规状态和通话违规状态中的至少一者时发出声音或光，并将视频或图像发送到外部设备，其中，检测步骤使用基于卷积神经网络的算法，该卷积神经网络包括至少一个卷积层、至少一个residual层、一个全局池化层和一个全连接层，其中，每个卷积层中都依次设置有一个BN层和一个LeakyReLU层。