[发明专利]基于目标动态信息的驾驶员注意力区域预测方法及系统

说明书

本发明公开了一种基于目标动态信息的驾驶员注意力区域预测方法及系统，包括：提取视频帧图像的空间特征和相邻视频帧图像的动态特征图；对提取的视频帧图像中的目标进行重要目标筛选，将不同尺度的目标特征图进行跨尺度融合，得到跨尺度目标特征；将空间特征和跨尺度目标特征进行注意力融合后，与动态特征图训练驾驶员注意力预测网络模型；对待测视频帧图像采用训练后的驾驶员注意力预测网络模型预测驾驶员注意力区域。通过重要目标筛选网络，挖掘当前时刻下可能存在的重要的目标，与图像空间特征融合丰富模型的空间表达能力；通过动态特征图的提取，提取帧间动态信息，能够对重要目标的运动信息更为敏感，提高驾驶员注意力预测的精度。

技术领域

本发明涉及视觉显著性区域预测技术领域，特别是涉及一种基于目标动态信息的驾驶员注意力区域预测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

驾驶员注意力区域预测又称为交通场景下的视觉显著性预测，在复杂的交通场景下，对辅助驾驶以及无人驾驶至关重要。人眼的选择注意力机制帮助驾驶员能够第一时间察觉危险，如果驾驶员集中注意力驾驶，将会迅速做出反应进而避免交通事故的发生；但往往会有驾驶员注意力分散，疲劳驾驶的出现，使得驾驶员在发现危险时无法及时避让，为此，对于辅助驾驶系统，学习驾驶员的注意力关注的经验，能够帮助驾驶员提前发现危险并给与警告。

但是，发明人认为，虽然传统的车内注意力采集设备，可以根据驾驶员眼球的运动，估计驾驶员的注意力，但是很难提供足够多的数据；传统机器学习方法和基于深度学习的通过动态交通场景预测驾驶员注意力关注区域方法中，对于突然出现的车辆、行人等可能存在潜在危险的目标并不是很敏感，当车辆超车等现象出现时，依旧无法察觉，即无法及时提取出有效的运动信息；

由于驾驶任务处于动态场景中，引入ConvLSTM模块进行时序建模时，将运动信息插入在高层语义之后，而底层语义特征会具有大量的边缘、颜色信息，可能会包含更多的运动信息，然而加入光流构造出的双流网络，往往会因为网络模型参数过多导致模型过大，对于网络的训练与预测都会产生影响。

发明内容

为了解决上述问题，本发明提出了一种基于目标动态信息的驾驶员注意力区域预测方法及系统，通过重要目标筛选网络，挖掘当前时刻下可能存在的重要的目标，与图像空间特征融合丰富模型的空间表达能力；通过动态特征图的提取，提取帧间动态信息，对动态的交通场景进行建模，能够对重要目标的运动信息更为敏感，提高驾驶员注意力预测的精度。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于目标动态信息的驾驶员注意力区域预测方法，包括：

提取视频帧图像的空间特征和相邻视频帧图像的动态特征图；

对提取的视频帧图像中的目标进行重要目标筛选，将得到的不同尺度的目标特征图进行跨尺度融合，得到跨尺度目标特征；

将空间特征和跨尺度目标特征进行注意力融合后，与动态特征图作为训练集训练预先构建的驾驶员注意力预测网络模型；

对待测视频帧图像采用训练后的驾驶员注意力预测网络模型得到驾驶员注意力区域预测结果。

第二方面，本发明提供一种基于目标动态信息的驾驶员注意力区域预测系统，包括：

特征提取模块，用于提取视频帧图像的空间特征和相邻视频帧图像的动态特征图；

目标筛选模块，用于对提取的视频帧图像中的目标进行重要目标筛选，将得到的不同尺度的目标特征图进行跨尺度融合，得到跨尺度目标特征；

训练模块，用于将空间特征和跨尺度目标特征进行注意力融合后，与动态特征图作为训练集训练预先构建的驾驶员注意力预测网络模型；