[发明专利]一种基于卷积神经网络的双框架估计深度和运动方法

摘要

本发明中提出的一种基于卷积神经网络的图像像素分类方法，其主要内容包括：图像输入、自助网络处理、迭代处理、图像细化、获得估计结果，其过程为，采用卷积网络估计深度和相机运动，它包含三个阶段：从场景数据集采样图像对并丢弃具有高光一致性误差的图像对；接下来，预处理后的图像对输入自助网络中分别计算光流、深度和相机运动；然后，经由迭代网络多次迭代反复改进现有的估计结果；最后由细化网络精细化后获得高分辨率深度图和运动估计。本发明的网络明显优于传统的运动结构，结果更准确和更鲁棒；与从单个图像估计深度的网络不同，本网络学习匹配的概念，可以利用运动视差，从而处理新类型的场景，并且允许估计运动。

主权项

1.一种基于卷积神经网络的双框架估计深度和运动方法，其特征在于，主要包括：(一)图像输入，具体包括：输入有深度和相机姿势的室内场景图像作为场景数据集，包括卡通、写实的多种不同场景；从数据集中采样图像对时，自动丢弃具有高光一致性误差的图像对，并分割数据集，使得相同的场景不会同时出现在训练集和测试集中；(二)通过自助网络输出初始深度和运动估计，具体包括：自助网络获取图像对作为输入，并输出初始深度和运动估计；自助网络由第一编码器‑解码器网络及第二编码器‑解码器网络组成，第一编码器‑解码器网络用于计算光流，第二编码器‑解码器网络用于计算深度和相机运动；(三)利用迭代网络改进深度法线和运动估计，具体包括：使用两个编码器‑解码器网络组成迭代网络进行迭代处理，训练迭代网络以改进现有的深度、法线和运动估计；迭代网络的架构与自助网络相同，但需要额外的输入；将由自助网络或迭代网络的先前迭代所估计的深度图和相机运动转换成光流场，并将其与其它输入一起反馈到所述迭代网络的第一编码器‑解码器中；同样，使用先前的相机运动预测将光流转换为深度图，并将其与光流一起反馈到所述迭代网络的第二编码器‑解码器中；(四)使用细化网络调整输入图像分辨率，具体包括：通过自助网络和迭代网络得到低分辨率图像对，即64×48作为输入，细化网络将预测上调至全输入图像分辨率；它获得全分辨率输入对和最近邻上采样深度和法线场作为输入，输出256×192的高分辨率图像对；(五)通过计算得到第一视图中的深度图和第二视图的相机运动作为估计结果。