[发明专利]基于斜面代价聚合的立体匹配的方法、装置和存储介质

权利要求书

1.一种基于斜面代价聚合的立体匹配的方法，其特征在于，所述基于斜面代价聚合的立体匹配的方法包括以下步骤：

获取第一图像和第二图像；所述第一图像和所述第二图像可以组成立体对图像；

对所述第一图像和所述第二图像进行特征图矩阵相乘处理，获得第一代价体；

对所述第一代价体进行初始视差估计，获得初始视差图；

执行多轮循环迭代操作；在每一轮所述循环迭代操作中，根据目标斜面参数和目标视差图构建出本轮的多个斜面，根据各所述斜面，对所述第一代价体中以像素为中心的邻域内执行lookup操作，追溯得到本轮的追溯代价体，对所述追溯代价体执行自适应聚合，获得本轮的上下文特征图，将目标视差图、本轮的所述追溯代价体以及本轮的所述上下文特征图输入至门激活单元，所述门激活单元输出本轮的视差图、本轮的斜面参数以及本轮的upmask图；

其中，对于第一轮所述循环迭代操作，所述目标斜面参数为初始设定的斜面参数，所述目标视差图为所述初始视差图；对于除第一轮循环迭代操作之外的其他各轮所述循环迭代操作，所述目标斜面参数为上一轮循环迭代操作得到的斜面参数，所述目标视差图为上一轮循环迭代操作得到的视差图；

对最后一轮循环迭代操作得到的视差图和upmask图进行处理，获得原分辨率视差图。

2.根据权利要求1所述的基于斜面代价聚合的立体匹配的方法，其特征在于，所述基于斜面代价聚合的立体匹配的方法，还包括：

在对所述第一图像和所述第二图像进行特征图矩阵相乘处理之前，对所述第一图像和所述第二图像进行极线校正处理。

3.根据权利要求1或2所述的基于斜面代价聚合的立体匹配的方法，其特征在于，所述对所述第一图像和所述第二图像进行特征图矩阵相乘处理，获得第一代价体，包括：

分别对所述第一图像和所述第二图像依次进行多次的特征图提取操作，获得所述第一图像对应的第一特征图以及所述第二图像对应的第二特征图；

将所述第一特征图与所述第二特征图进行矩阵相乘，获得所述第一代价体。

4.根据权利要求3所述的基于斜面代价聚合的立体匹配的方法，其特征在于，所述分别对所述第一图像和所述第二图像依次进行多次的特征图提取操作，获得所述第一图像对应的第一特征图以及所述第二图像对应的第二特征图，包括：

对所述第一图像进行一次kernel＝7，stride＝2的卷积，获得特征图feature map101；对所述第二图像进行一次kernel＝7，stride＝2的卷积，获得特征图feature map102；

对特征图feature map101进行一次stride＝1的卷积后，通过残差连接操作获得特征图feature map201；对特征图feature map102进行一次stride＝1的卷积后，通过残差连接操作获得特征图feature map202；

对特征图feature map101进行一次stride＝2的卷积后，通过残差连接操作获得特征图feature map301；对特征图feature map202进行一次stride＝2的卷积后，通过残差连接操作获得特征图feature map302；

对特征图feature map301进行一次stride＝2的卷积后，通过残差连接操作获得特征图feature map401；对特征图feature map302进行一次stride＝2的卷积后，通过残差连接操作获得特征图feature map402；

对特征图feature map401进行一次stride＝1的卷积，获得所述第一特征图featuremap501；对特征图feature map402进行一次stride＝1的卷积，获得所述第二特征图feature map502。