[发明专利]基于多任务神经网络的驾驶行为检测方法和装置

说明书

本发明提供的一种基于多任务神经网络的驾驶行为检测方法和装置，涉及驾驶状态检测技术领域，该方法包括：基于基础神经网络的卷积层确定第一神经网络，第一神经网络包括：第一输出网络和第二输出网络；基于基础神经网络和HourGlass网络确定第二神经网络，并基于第一神经网络和第二神经网络确定第三神经网络；然后使用样本信息对第三神经网络进行训练，最后基于训练好的第三神经网络对样本信息进行预测，其中，第一输出网络用于预测样本的关键点坐标，第二输出网络用于预测样本的头部姿势角度。该方法可以缓解现有驾驶行为检测技术中的运行耗时长、预测准确度低的问题，从而实现提升计算性能的效果。

技术领域

本发明涉及驾驶状态检测技术领域，尤其是涉及一种基于多任务神经网络的驾驶行为检测方法和装置。

背景技术

随着私家车数量的增多机动车成为了一种十分普遍的出行方式，但近年来机动车的事故率居高不下，尤其是驾驶员疲劳驾驶或者注意力不集中等驾驶行为逐渐成为导致交通事故频发的一个重要原因，因此对驾驶员的驾驶行为进行检测和监督对有效降低交通事故的发生有重要意义。驾驶员疲劳监测技术一般对驾驶员进行头部姿势估计和人脸关键点检测，从而实现驾驶员的注意力检测以及人脸验证等。

但是现有的驾驶行为检测技术在同时进行头部姿势估计和人脸关键点检测时，通常需要采用单独的神经网络实现，存在运行耗时长、预测准确度低的问题。

发明内容

本发明的目的在于提供一种基于多任务神经网络的驾驶行为检测方法和装置，以缓解现有技术中存在的运行耗时长、预测准确度低的技术问题。

第一方面，本发明实施例提供了一种基于多任务神经网络的驾驶行为检测方法，该方法包括：基于基础神经网络的卷积层确定第一神经网络，所述第一神经网络包括：第一输出网络和第二输出网络；

基于所述基础神经网络和HourGlass网络确定第二神经网络；

基于所述第一神经网络和所述第二神经网络确定第三神经网络；

使用样本信息对所述第三神经网络进行训练；所述样本信息包括样本的头部图像，所述头部图像包括所述样本的人脸信息；

基于训练好的所述第三神经网络对所述样本信息进行预测，其中，所述第一输出网络用于预测所述样本的关键点坐标，所述第二输出网络用于预测所述样本的头部姿势角度。

在一些实施方式中，基于基础神经网络的卷积层确定第一神经网络的步骤，包括：

将基础神经网络中指定数量个卷积层与第一输出网络的卷积层连接；

将所述基础神经网络的最后一个卷积层与第二输出网络的卷积层连接。

在一些实施方式中，所述第一输出网络包括关键点检测网络；所述第二输出网络包括头部姿势估计网络。

在一些实施方式中，基于所述基础神经网络和HourGlass网络确定第二神经网络的步骤，包括：

将所述基础神经网络中的若干个卷积层作为第一HourGlass网络的降采样卷积层，构建第一级联网络；

其中，所述第一HourGlass网络还包括与降采样卷积层相同数量的上采样卷积层。

在一些实施方式中，基于所述基础神经网络和HourGlass网络确定第二神经网络的步骤，还包括：

将若干个HourGlass网络连接，构建第二级联网络；

在所述第一级联网络后连接所述第二级联网络，确定第二神经网络。

在一些实施方式中，使用样本信息对所述第三神经网络进行训练的步骤，包括：

使用样本信息对所述第一输出网络的第一损失函数和所述第二输出网络的第二损失函数进行训练；