[发明专利]一种基于候选视差的行车环境实时立体匹配方法及装置

权利要求书

1.一种基于候选视差的行车环境实时立体匹配方法，其特征在于，包括：

S1：获取原始数据集，并对原始数据集进行预处理，将原始数据集中的左侧图像作为参考图像，右侧图像作为对应的目标图像，参考图像和目标图像共同组成一组立体图像对；

S2：构建行车环境实时立体匹配网络，其中，行车环境实时立体匹配网络包括特征提取模块、基于Patch match算法的候选视差计算模块、初始视差预测模块以及层次化视差优化模块，特征提取模块为一个共享权重的轻量级孪生网络，用于对输入的立体图像对进行深度特征提取得到左特征图和右特征图；基于Patch match算法候选视差计算模块用于对每个像素均匀分成视差子空间随机产生视差值，并通过传播和评估策略得到目标候选视差，初始视差预测模块基于视差采样向量进行匹配代价的计算、匹配代价体的正则化和视差回归获取粗估计的低分辨率视差图，层次化视差优化模块用于将低分辨率视差图恢复成原始分辨率视差图；

S3：将预处理后的数据集中的立体图像对输入构建的行车环境实时立体匹配网络中进行前向传播训练；然后将输出的最终视差图和真实视差图输入到损失函数中，利用批量梯度下降法进行反向传播；最后根据梯度多次更新迭代模型的学习参数以获得最优的行车环境实时立体匹配网络模型，该模型的学习参数包括权重和偏置；

S4：利用训练好的行车环境实时立体匹配网络模型进行双目立体匹配。

2.如权利要求1所述的行车环境实时立体匹配方法，其特征在于，特征提取模块为一个轻量级的共享权重的孪生网络，包括标准卷积层和幻影卷积特征提取单元，其中，步长为1的幻影卷积特征提取单元的结构为ghost conv-BN-ghost conv-BN-Relu，步长为2的幻影卷积特征提取单元的结构为ghost conv-BN-deepwise conv-ghost conv-BN-Relu，ghostconv表示由核心卷积层和简单线性操作计算冗余特征图的卷积设计，BN为批量标准化操作，deepwise conv为深度卷积，Relu为线性整流函数，采用跳跃连接将幻影卷积特征提取单元的输入与输出相加，最终输出为两个尺寸为H/4×W/4×C的一元特征f_l和f_r，其中H、W分别表示原始输入图像的高和宽，C表示特征维度。

3.如权利要求1所述的行车环境实时立体匹配方法，其特征在于，候选视差预测模块具体用于将每个像素均匀分成N＝10个视差子空间，并在每个视差子空间随机产生一个视差值构建视差采样向量，用one-hot卷积核对视差采样向量进行滤波，使与视差采样向量对应的N个采样值传播到其四邻域，对每个像素的每个候选视差分别进行评分，根据每个候选视差评估分数加权平均重新组成N×H/4×W/4的视差采样向量进行迭代，得到目标候选视差。

4.如权利要求3所述的行车环境实时立体匹配方法，其特征在于，候选视差评估分数的公式定义如下：

S_i,j＝f_l(i),f_r(i+d_i,j)

其中S_i,j为对每个像素的每个视差候选值的评分，·表示内积计算，d_i,j为经patchmatch算法得到的候选视差值，f_l和f_r为提取的左右特征图，f_r(i+d_i,j)为利用获取的视差采样值对提取的右图特征值进行扭曲操作。