[发明专利]基于深度学习的危险场景提取方法及相关设备

说明书

本发明提供一种基于深度学习的危险场景提取方法及相关设备。该方法包括：获取多个样本危险场景和多个样本危险场景对应的驾驶员的脑电数据、心电数据以及眼动数据；基于预处理后的每个样本危险场景和对应的驾驶员的脑电数据、心电数据以及眼动数据对神经网络模型进行训练，得到训练完成的神经网络模型；基于训练完成的神经网络模型，从车辆行驶途中的影像及声音数据库中提取多个目标危险场景。通过本发明，解决了现有技术中无法快速、准确的从驾驶场景数据库中筛选出人机共驾危险场景的问题。

技术领域

本发明涉及汽车辅助驾驶技术领域，尤其涉及一种基于深度学习的危险场景提取方法及相关设备。

背景技术

随着智能网联汽车技术的发展，车辆控制权由驾驶员和智能驾驶系统共同掌管，因为智能驾驶系统具有精细化感知、规范化决策以及精准化控制的特点，驾驶员具体较强的学习能力和自适应能力，所以通过危险场景对人机共驾模式进行测试是提升人机共驾安全性的重要手段，因此，如何从驾驶场景数据库中快速、准确筛选出人机共驾危险场景是一个亟待解决的问题。

发明内容

本发明的主要目的在于提供一种基于深度学习的危险场景提取方法及相关设备，旨在解决现有技术中无法快速、准确的从驾驶场景数据库中筛选出人机共驾危险场景的问题。

第一方面，本发明提供一种基于深度学习的危险场景提取方法，所述基于深度学习的危险场景提取方法包括：

获取多个样本危险场景和多个样本危险场景对应的驾驶员的脑电数据、心电数据以及眼动数据；

基于预处理后的每个样本危险场景和对应的驾驶员的脑电数据、心电数据以及眼动数据对神经网络模型进行训练，得到训练完成的神经网络模型；

基于训练完成的神经网络模型，从车辆行驶途中的影像及声音数据库中提取多个目标危险场景。

可选的，所述基于预处理后的每个样本危险场景和对应的驾驶员的脑电数据、心电数据以及眼动数据对神经网络模型进行训练，得到训练完成的神经网络模型的步骤，包括：

基于预处理后的每个样本危险场景对应的驾驶员的脑电数据，得到每个样本危险场景对应的脑电功率谱密度；

基于预处理后的每个样本危险场景对应的驾驶员的心电数据，得到每个样本危险场景对应的心电信号的数据统计结果；

基于预处理后的每个样本危险场景对应的驾驶员的眼动数据，得到每个样本危险场景对应的水平眼电信号的数据统计结果以及垂直眼电信号的数据统计结果，其中，数据统计结果包括均值、方差、最大值、最小值、最大值与最小值的差值以及一阶差分和二阶差分的均值、方差、最大值、最小值、最大值与最小值的差值；

将每个样本危险场景对应的脑电功率谱密度、心电信号的数据统计结果、水平眼电信号的数据统计结果以及垂直眼电信号的数据统计结果代入预设公式，得到样本危险场景对应的融合卷积特征，预设公式如下：

其中，L表示每个样本危险场景对应的融合卷积特征，A表示卷积，W表示权重，F₁表示每个样本危险场景对应的脑电功率谱密度，F₂表示每个样本危险场景对应的心电信号的数据统计结果，F₃表示每个样本危险场景对应的水平眼电信号的数据统计结果，F₄表示每个样本危险场景对应的垂直眼电信号的数据统计结果，表示特征的输出的连接操作；

将每个样本危险场景和对应的融合卷积特征L作为一组训练数据，得到多组训练数据；

基于多组训练数据对神经网络模型进行训练，得到训练完成的神经网络模型。

可选的，所述基于训练完成的神经网络模型，从车辆行驶途中的影像及声音数据库中提取多个目标危险场景的步骤，包括：