[发明专利]一种基于运动轮廓语义图预测行车危险场景的方法

权利要求书

1.一种基于运动轮廓语义图预测行车危险场景的方法，其特征在于，包括以下步骤：

步骤S1：获取车辆的驾驶视频，分割所述驾驶视频的感兴趣区域；

步骤S2：将所述驾驶视频的感兴趣区域使用目标检测算法来检测交通对象并生成包含语义的运动轮廓语义图；

步骤S3：统计车辆的运动数据，根据统计结果设置加速度阈值将所述运动轮廓语义图划分为高风险事件或正常事件；

步骤S4：将所述高风险事件或正常事件输入到随机森林分类器，根据特征重要性对分类结果进行排序，获得重要运动学特征；

步骤S5：根据所述运动轮廓语义图和重要运动学特征，构建多模态深度神经网络模型；

步骤S6：对待检测驾驶视频执行步骤S1-S4，获得所述待检测驾驶视频的运动轮廓语义图和重要运动学特征并输入至所述多模态深度神经网络模型，预测行车是否具有风险，若有风险则向驾驶员报警；

所述步骤S2中生成运动轮廓语义图具体过程如下：

步骤S201：对所述驾驶视频的每一帧图像的感兴趣区域进行均值化处理，转化为一行像素；

步骤S202：将所有的所述一行像素按时间顺序拼接在一起形成运动轮廓图；

步骤S203：通过实时对象检测框架对所述运动轮廓图进行识别，判断识别出的交通环境中的交通对象是否位于感兴趣区域内，若是则按照所述交通对象在驾车视频对于的帧画面中的横向位置，将所述交通对象以有色像素线段的形式标在所述运动轮廓图中相应帧线的位置上，形成运动轮廓语义图；

所述特征重要性通过所述高风险事件或正常事件相应特征的基尼指数决定；

步骤S4的具体过程如下：

步骤S401：将一个包含m_l条记录，每条记录有多个运动学特征的事件，提取出n个运动学特征{m₁,…,m_n}作为该样本的重要特征，以事件分类作为该样本的分类标签值，生成样本集合；

步骤S402：通过抽样放回的方法从样本集合中选取n_s个样本作为训练集，重复q次生成q个训练集{S₁,…,S_q}；

步骤S403：以每个训练集作为一棵决策树的输入，构建包含q棵CART决策树的随机森林{T₁,…,T_q}，其中对于T_i上的每一个节点随机不重复的选择m_node个特征，利用这m_node个特征对S_i进行划分，并使用使基尼指数最小化作为标准获得最佳划分，从而训练出q棵CART决策树；

步骤S404：根据特征重要性对分类结果进行排序，获得重要运动学特征，具体为：

步骤S4041：计算出{m₁,…,m_n}中每个运动学特征m_j在所有决策树中节点分裂不纯度的平均改变量I_j，即重要性，节点o的不纯度使用基尼指数来衡量，具体如下：

其中，GI_o为节点o的不纯度，k表示类别：高风险、正常，p_ok表示节点o中类别k所占的比例，p_ok′表示非类别k所占的比例；

步骤S4042：计算m_j在第i棵树的重要性I_ji，公式如下：

I_ji＝∑_o∈OI_jio＝∑_o∈O(GI_jio-G_jiol-G_jior)

其中，O为第i棵树的包含运动学特征m_j的节点集合，GI_jio为第i棵树的节点o的基尼指数，G_jiol,G_jior为节点o分支后的左右两个新节点的基尼指数；

步骤S4043：计算m_j在所有树中的重要性I_j，公式如下：

其中，q为CART决策树的数量；

步骤S4044：获得所有运动学特征的重要性集合{I₁,…,I_X}后，将重要性做归一化处理，具体如下：

将完成归一化处理的特征的重要性集合从大到小排序,获得重要性排名前n_important的特征

步骤S405：将正常事件预备集和高风险事件预备集合的每个事件使用该事件中的上述n_important个运动学特征来代表，即每个事件的为其中id为事件编号，label为事件类型，形成正常事件集和高风险事件集

多模态深度神经网络模型具体包括：

输入层，将运动轮廓语义图转化为矩阵m₁；

Conv1层，设定卷积层参数，包括过滤器个数、大小及步长和激活函数，输入m₁得到矩阵m₂；

Pool1层，设定池化层参数，包括过滤器大小及类型和步长等，输入m₂进行最大池化得到矩阵m₃；

Conv2层，设定卷积层参数，输入m₃经过ReLU激活函数得到矩阵m₄；

Pool2层，设定池化层参数，输入m₄进行最大池化得到矩阵m₅；

Conv3层，设定卷积层参数，输入m₅经过ReLU激活函数得到矩阵m₆；

Conv4层，设定卷积层参数，输入m₆经过ReLU激活函数得到矩阵m₇；

Conv5层，设定卷积层参数，输入m₇经过ReLU激活函数得到矩阵m₈；

Pool5层，设定池化层参数，输入m₈进行最大池化得到矩阵m₉；

FC6平滑层，将输入的矩阵m₉平滑为一维矩阵m₁₀；

Drop6层，输入矩阵m₁₀，以一定比例的Dropout概率丢弃部分神经节点，防止过拟合，并得到矩阵m₁₁；

FC7全连接层，输入矩阵m₁₁，输出r×1的一维矩阵m₁₂；

将m₁₂与f_kinematic合并，即[f_kinematicm₁₂]作为FC8全连接层的输入，输出为2×1的矩阵，该矩阵中的两个值对应着属于有风险类别和属于无风险类别的概率的预测值，接着使用Softmax处理预测值使两类的概率和为1。