[发明专利]一种驾驶员视觉注意力预测方法、系统、设备及介质

说明书

本发明公开了一种驾驶员视觉注意力预测方法、系统、设备及介质，方法包括：获取驾驶场景下的初始图像和训练数据；对所述初始图像进行预处理操作，得到预处理图像；将所述训练数据输入结合卷积神经网络和Transformer的注意力预测网络，训练得到注意力预测模型；将所述预处理图像输入所述注意力预测模型，输出得到注意力预测概率图；对所述注意力预测概率图进行彩色可视化处理，得到注意力预测结果图；能够很好地获取和结合局部和全局信息，准确地预测驾驶员在执行驾驶任务时的视觉注意力分布情况，可广泛应用于计算机视觉技术领域。

技术领域

本发明涉及计算机视觉技术领域，尤其是一种驾驶员视觉注意力预测方法、系统、设备及介质。

背景技术

随着算法、算力、数据等相关技术的发展，汽车驾驶技术领域迎来智能化浪潮，高级驾驶辅助系统和无人驾驶技术被相继提出。其中，针对驾驶员注意力的分析方法作为一项重要研究取得了较快的发展。在驾驶场景下，驾驶员将受到自顶向下的驾驶任务驱动和自底向上的驾驶环境刺激两方面影响来分配自身的注意力。研究表明，造成交通事故的主要原因在于驾驶员的注意力不集中。由此，研究分析并预测驾驶员的注意力分配，对于高级驾驶辅助系统和无人驾驶技术的安全性研究具有重要意义。而现有技术主要是采用基于卷积的深度学习方法对驾驶员视觉注意力进行预测，而基于卷积的深度学习方法具有感受野有限、预测结果精度低等问题。

发明内容

有鉴于此，本发明实施例提供一种驾驶员视觉注意力预测方法、系统、设备及介质，以实现简单、精准地对驾驶员视觉注意力进行预测。

一方面，本发明公开了一种驾驶员视觉注意力预测方法，包括：

获取驾驶场景下的初始图像和训练数据；

对所述初始图像进行预处理操作，得到预处理图像；

将所述训练数据输入结合卷积神经网络和Transformer的注意力预测网络，训练得到注意力预测模型；

将所述预处理图像输入所述注意力预测模型，输出得到注意力预测概率图；

对所述注意力预测概率图进行彩色可视化处理，得到注意力预测结果图。

可选地，所述对所述初始图像进行预处理操作，得到预处理图像，包括：

对所述初始图像进行图像缩放处理，得到第一处理图像；

对所述第一处理图像进行图像随机翻转处理，得到第二处理图像；

对所述第二处理图像进行图像归一化处理，得到预处理图像。

可选地，所述将所述训练数据输入结合卷积神经网络和Transformer的注意力预测网络，训练得到注意力预测模型，包括：

对所述训练数据进行乱序后输入到待训练的注意力预测模型中，使用反向传播算法对所述注意力预测网络进行训练，得到训练后的注意力预测模型，所述注意力预测模型采用交叉熵作为损失函数进行训练。

可选地，所述将所述预处理图像输入所述注意力预测模型，输出得到注意力预测概率图，包括：

将所述预处理图像输入初始化卷积层进行特征提取，得到初始化特征；

将所述初始化特征输入Transformer编码器中获取全局信息，输出初始化全局信息特征；

将所述初始化全局信息特征输入混合特征提取模块，输出混合特征信息；

将所述混合特征信息输入解码器，输出注意力预测概率图。

可选地，所述对所述注意力预测概率图进行彩色可视化处理，得到注意力预测结果图，包括：

将所述注意力预测概率图的像素范围进行扩大处理，得到像素图像；