[发明专利]一种驾驶员视觉注意力预测方法、系统、设备及介质

权利要求书

1.一种驾驶员视觉注意力预测方法，其特征在于，包括：

获取驾驶场景下的初始图像和训练数据；

对所述初始图像进行预处理操作，得到预处理图像；

将所述训练数据输入结合卷积神经网络和Transformer的注意力预测网络，训练得到注意力预测模型；

将所述预处理图像输入所述注意力预测模型，输出得到注意力预测概率图；

对所述注意力预测概率图进行彩色可视化处理，得到注意力预测结果图。

2.根据权利要求1所述的一种驾驶员视觉注意力预测方法，其特征在于，所述对所述初始图像进行预处理操作，得到预处理图像，包括：

对所述初始图像进行图像缩放处理，得到第一处理图像；

对所述第一处理图像进行图像随机翻转处理，得到第二处理图像；

对所述第二处理图像进行图像归一化处理，得到预处理图像。

3.根据权利要求1所述的一种驾驶员视觉注意力预测方法，其特征在于，所述将所述训练数据输入结合卷积神经网络和Transformer的注意力预测网络，训练得到注意力预测模型，包括：

对所述训练数据进行乱序后输入到待训练的注意力预测模型中，使用反向传播算法对所述注意力预测网络进行训练，得到训练后的注意力预测模型，所述注意力预测模型采用交叉熵作为损失函数进行训练。

4.根据权利要求1所述的一种驾驶员视觉注意力预测方法，其特征在于，所述将所述预处理图像输入所述注意力预测模型，输出得到注意力预测概率图，包括：

将所述预处理图像输入初始化卷积层进行特征提取，得到初始化特征；

将所述初始化特征输入Transformer编码器中获取全局信息，输出初始化全局信息特征；

将所述初始化全局信息特征输入混合特征提取模块，输出混合特征信息；

将所述混合特征信息输入解码器，输出注意力预测概率图。

5.根据权利要求1所述的一种驾驶员视觉注意力预测方法，其特征在于，所述对所述注意力预测概率图进行彩色可视化处理，得到注意力预测结果图，包括：

将所述注意力预测概率图的像素范围进行扩大处理，得到像素图像；

将所述像素图像进行伪彩色处理，得到注意力预测结果图。

6.根据权利要求4所述的一种驾驶员视觉注意力预测方法，其特征在于，所述将所述混合特征信息输入解码器，输出注意力预测概率图，包括：

将所述混合特征信息输入解码器，所述解码器包括卷积层、上采样层和输出层；

对所述混合特征信息通过所述卷积层和所述上采样层进行交替处理，通过输出层输出注意力预测概率图。

7.根据权利要求1所述的一种驾驶员视觉注意力预测方法，其特征在于，所述方法还包括：

选取基于概率分布的评价指标对所述注意力预测概率图进行评估，得到评估结果。

8.一种驾驶员视觉注意力预测系统，其特征在于，包括：

第一模块，用于获取驾驶场景下的初始图像和训练数据；

第二模块，用于对所述初始图像进行预处理操作，得到预处理图像；

第三模块，用于将所述训练数据输入结合卷积神经网络和Transformer的注意力预测网络，训练得到注意力预测模型；

第四模块，用于将所述预处理图像输入所述注意力预测模型，输出得到注意力预测概率图；

第五模块，用于对所述注意力预测概率图进行彩色可视化处理，得到注意力预测结果图。

9.一种电子设备，其特征在于，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。