[发明专利]融合多源视觉信息的危险物体检测方法

摘要

本发明提供一种融合多源视觉信息的危险物体检测方法，包括以下步骤：1】多源视觉影像采集；2】增量式运动一致性考量；3】多源视觉信息融合；4】计算检测率。该融合多源视觉信息的危险物体检测方法，解决了现有技术中危险物体检测类别有限、缺乏多种信息有效利用的技术问题。

主权项

一种融合多源视觉信息的危险物体检测方法，其特征在于：包括以下步骤：1】多源视觉影像采集：1.1】使用多光谱相机实时获得彩色视频影像和近红外视频影像；1.2】利用单序列深度恢复方法获得与彩色视频影像相对应的深度影像；1.3】利用相关性光流方法获得与彩色视频影像相对应的运动影像；1.4】利用线性迭代聚类方法分割运动影像中的每一帧图像，得到超像素网格；1.5】将超像素网格叠加到彩色视频影像、近红外视频影像和深度影像上；2】增量式运动一致性考量：2.1】将运动影像分界为左侧运动视频帧和右侧运动视频帧，分界线为运动影像中轴线；2.2】利用初始F帧分割得到的超像素运动模式，训练正常运动模式基A，包括左侧正常运动模式基A^l和右侧正常运动模式基A^r；其中F的取值范围为5‑20；2.3】在t时刻，所有通道的图像被分割成N个超像素，计算运动图像中N个超像素所对应的特征yⁱ，其中i＝1:N；2.4】构建图正则的最小软阈值均方目标式模型：$[\hat{X},\hat{U}]\underset{X,U}{\min }L(X,U),$$L(X,U)=\frac{1}{2}{\left|\right|Y-\mathrm{AX}-U\left|\right|}_F^2+{\mathrm{\λ}}_1{\left|\right|U\left|\right|}_{\mathrm{1,1}}+\frac{{\mathrm{\λ}}_2}{2}\mathrm{tr}\left(\mathrm{XL}{X}^T\right),$其中，U为构建的高斯‑拉普拉斯误差项，Y为所有yⁱ组成的矩阵，X为所要求解的稀疏系数，L为拉普拉斯矩阵，λ₁为高斯‑拉普拉斯噪声稀疏项约束系数，为几何流行正则项约束系数；2.5】得到运动影像的危险置信度值计算结果：$d(y^i,A)=\frac{1}{2}{\left|\right|y^i-A{\hat{x}}^i-{\hat{u}}^i\left|\right|}_2^2+{\mathrm{\λ}}_1{\left|\right|{\hat{u}}^i\left|\right|}_1$综合左右两侧计算结果：$d_t^i=1-\exp (-({\mathrm{\ϵ}}_l^i-{\mathrm{\ϵ}}_r^i)/\mathrm{\β})$其中，${\mathrm{\ϵ}}_l^i=d(y_t^i,A^l),{\mathrm{\ϵ}}_r^i=d(y_t^i,A^r),$β为左右两侧的误差平衡系数；2.6】得到整个运动影像动信息考量下的危险置信度将的值利用最大‑最小归一化方法归一化到[0,1]之间；3】多源视觉信息融合：3.1】利用基于图评测的显著性计算方法分别计算彩色视频影像、近红外视频影像和深度影像的显著性结果，得到彩色视频影像危险置信度近红外视频影像危险置信度和深度影像危险置信度3.2】利用显著性贝叶斯模型$\mathrm{Pr}\left(O\right|S\left(z\right))=\frac{\mathrm{Pr}\left(S\left(z\right)\right|O)\mathrm{Pr}\left(O\right)}{\mathrm{Pr}\left(O\right)\mathrm{Pr}\left(S\left(z\right)\right|O)+(1-\mathrm{Pr}\left(O\right))\mathrm{Pr}\left(S\left(z\right)\right|B)}$融合得到运动影像、彩色视频影像、近红外视频影像和深度影像危险置信度图3.2.1】计算先验概率Pr(O)：根据超像素特征在图像空间的出现频率得到元素分布图其中OPT为元素分布图索引；则先验概率为3.2.2】计算似然概率Pr(S(z)|O)：将得到的二值化，计算原始视觉图像上对应的像素直方图计算背景区域在对应原始视觉图像上的落入中对应数值的像素数则目标及背景的似然概率为$\mathrm{Pr}\left(S_t^i\right|O_t)=\frac{N_{b{O}_t\left(S_t^i\left(z\right)\right)}}{N_{B_t}},\mathrm{Pr}\left(S_t^i\right|B_t)=\frac{N_{b{B}_t\left(S_t^i\left(z\right)\right)}}{N_{B_t}}$3.3】计算所有视觉信息贝叶斯化后的融合概率：$S_t^{\mathrm{Danger}}=\underset{i}{\mathrm{\Σ}}\mathrm{Pr}\left(O_t\right|S_t^i\left(z\right)),$其中，$\begin{array}{c}\mathrm{Pr}\left(O_t\right|S_t^i\left(z\right))\\ =\frac{\mathrm{Pr}\left(O_t\right)p\left(S_t^i\left(z\right)\right|O_t)}{\mathrm{Pr}\left(O_t\right)p\left(S_t^i\left(z\right)\right|O_t)+(1-\mathrm{Pr}\left(O_t\right))\mathrm{Pr}\left(S_t^i\left(z\right)\right|B_t)}\\ =\frac{(1-{\mathrm{ED}}_t^{\mathrm{OPT}})\mathrm{Pr}\left(S_t^i\left(z\right)\right|O_t)}{(1-{\mathrm{ED}}_t^{\mathrm{OPT}})\mathrm{Pr}\left(S_t^i\left(z\right)\right|O_t)+{\mathrm{ED}}_t^{\mathrm{OPT}}\mathrm{Pr}\left(S_t^i\left(z\right)\right|B_t)}\end{array}$4】计算检测率：对每帧影像均重复执行步骤2】‑步骤3】，直至整个视频影像被处理完毕；标记视频第t帧中真实的危险物体区域为G_t，检测率为：TPR＝TP/PFPR＝FP/N其中，TP为检测正确的像素点个数，FP为检测错误的像素点个数，P为G_t中的目标像素点个数，N为G_t中背景像素点个数。