[发明专利]基于深度学习的危险场景提取方法及相关设备

权利要求书

1.一种基于深度学习的危险场景提取方法，其特征在于，所述基于深度学习的危险场景提取方法包括：

获取多个样本危险场景和多个样本危险场景对应的驾驶员的脑电数据、心电数据以及眼动数据；

基于预处理后的每个样本危险场景和对应的驾驶员的脑电数据、心电数据以及眼动数据对神经网络模型进行训练，得到训练完成的神经网络模型；

基于训练完成的神经网络模型，从车辆行驶途中的影像及声音数据库中提取多个目标危险场景。

2.如权利要求1所述的基于深度学习的危险场景提取方法，其特征在于，所述基于预处理后的每个样本危险场景和对应的驾驶员的脑电数据、心电数据以及眼动数据对神经网络模型进行训练，得到训练完成的神经网络模型的步骤，包括：

基于预处理后的每个样本危险场景对应的驾驶员的脑电数据，得到每个样本危险场景对应的脑电功率谱密度；

基于预处理后的每个样本危险场景对应的驾驶员的心电数据，得到每个样本危险场景对应的心电信号的数据统计结果；

基于预处理后的每个样本危险场景对应的驾驶员的眼动数据，得到每个样本危险场景对应的水平眼电信号的数据统计结果以及垂直眼电信号的数据统计结果，其中，数据统计结果包括均值、方差、最大值、最小值、最大值与最小值的差值以及一阶差分和二阶差分的均值、方差、最大值、最小值、最大值与最小值的差值；

将每个样本危险场景对应的脑电功率谱密度、心电信号的数据统计结果、水平眼电信号的数据统计结果以及垂直眼电信号的数据统计结果代入预设公式，得到样本危险场景对应的融合卷积特征，预设公式如下：

其中，L表示每个样本危险场景对应的融合卷积特征，A表示卷积，W表示权重，F₁表示每个样本危险场景对应的脑电功率谱密度，F₂表示每个样本危险场景对应的心电信号的数据统计结果，F₃表示每个样本危险场景对应的水平眼电信号的数据统计结果，F₄表示每个样本危险场景对应的垂直眼电信号的数据统计结果，表示特征的输出的连接操作；

将每个样本危险场景和对应的融合卷积特征L作为一组训练数据，得到多组训练数据；

基于多组训练数据对神经网络模型进行训练，得到训练完成的神经网络模型。

3.如权利要求1所述的基于深度学习的危险场景提取方法，其特征在于，所述基于训练完成的神经网络模型，从车辆行驶途中的影像及声音数据库中提取多个目标危险场景的步骤，包括：

将车辆行驶途中的影像及声音数据库中的数据输入训练完成的神经网络模型中，得到训练完成的神经网络模型输出的多个目标危险场景。

4.如权利要求1所述的基于深度学习的危险场景提取方法，其特征在于，在所述获取多个样本危险场景和多个样本危险场景对应的驾驶员的脑电数据、心电数据以及眼动数据的步骤之后，包括：

对所述多个样本危险场景对应的驾驶员的脑电数据、心电数据以及眼动数据进行预处理。

5.如权利要求4所述的基于深度学习的危险场景提取方法，其特征在于，所述对所述多个样本危险场景对应的驾驶员的脑电数据、心电数据以及眼动数据进行预处理的步骤包括：

将所述多个样本危险场景对应的驾驶员的脑电数据、心电数据以及眼动数据降噪至预设频率；

对降噪后的多个样本危险场景对应的驾驶员的脑电数据、心电数据以及眼动数据进行滤波处理。

6.一种基于深度学习的危险场景提取装置，其特征在于，所述基于深度学习的危险场景提取装置包括：

获取模块，用于获取多个样本危险场景和多个样本危险场景对应的驾驶员的脑电数据、心电数据以及眼动数据；

训练模块，用于基于预处理后的每个样本危险场景和对应的驾驶员的脑电数据、心电数据以及眼动数据对神经网络模型进行训练，得到训练完成的神经网络模型；

提取模块，用于基于训练完成的神经网络模型，从车辆行驶途中的影像及声音数据库中提取多个目标危险场景。