[发明专利]基于端到端神经网络的视差图获取方法

摘要

本发明公开了一种基于端到端神经网络的视差图获取方法，主要解决现有获取视差图时大量搜索与迭代计算导致实时性差的问题。其方案是：1.利用特征学习网络与视差重构网络构建三维重构网络，其中特征学习网络设有结构相同的两个分支，每个分支结构设有五个网络层，视差重构网络设有三个网络层，这两个网络通过一个全连接网络层连接；2.将虚拟场景与现实场景数据分别输入至三维重构网络，通过训练该网络确定其权重参数；3.将拍摄的同步左右视图输入至确定权重参数后的三维重构网络，获得视差图。本发明避免了复杂的预处理，减小了搜索与迭代计算量，能满足更高的实时性要求，可用于双目相机、机器人视觉导航、工业自动化领域。

主权项

1.一种基于端到端神经网络的视差图获取方法，其特征在于包括：(1)构建三维重构网络:(1a)设计特征学习网络，该网络设有结构相同的两个分支，每个分支有五个网络层，第一层是卷积网络层，第二层是以sigmoid函数为激活函数的池化网络层，第三层是卷积网络层，第四层是以sigmoid函数为激活函数的池化网络层，第五层是全连接网络层，该网络用于分别学习两幅输入图像的特征；(1b)设计视差重构网络，该网络包括三个网络层，其中第一层是全连接网络层，第二层是一个卷积网络层，第三层是一个携带sigmoid函数的全连接网络层，该网络用于综合训练(1a)中学习到的两幅输入图像特征，重构出视差图；(1c)将(1a)得到的特征学习网络与(1b)得到的视差重构网络进行连接，构建成三维重构网络；(2)确定三维重构网络的权重参数:(2a)由计算机三维场景技术生成虚拟场景数据，该数据作为网络的训练样本，虚拟场景数据中包括同步的左右视图(V_SL,V_SR)和左右视图所对应的虚拟场景的视差图D_S；(2b)将虚拟场景数据输入至步骤(1)构建的三维重构网络中，并使用随机梯度下降算法对该三维重构网络进行训练，直至网络收敛，得到权重参数为θ₁的粗调后网络；(2c)在摄像机上平行放置两个摄像头，拍摄现实场景，获得现实场景的同步左右视图(V_AL,V_AR)，使用三维立体扫描仪扫描同一现实场景，获取该现实场景的视差图D_A,该视差图D_A与所述同步左右视图(V_AL,V_AR)相对应；(2d)将现实场景的同步左右视图(V_AL,V_AR)与现实场景的视差图D_A输入至粗调后网络中，使用随机梯度下降算法对该粗调后网络进行训练，直至网络收敛，得到权重参数为θ₂的精调后网络；(3)通过精调后网络获得视差图D：(3a)使用两个平行放置的摄像头拍摄三维场景，获得三维场景的同步左右视图(V_L,V_R)，分别在三维场景的左视图V_L与右视图V_R中以k×k大小的矩形窗按照步长s进行滑动，获得三维场景的n个左视图图像块I_L(p_t)与n个右视图图像块I_R(p_t)，其中M表示三维场景的左视图V_L与右视图V_R的长为M个像素点，N表示三维场景的左视图V_L与右视图V_R的宽为N个像素点，p_t表示第t个图像块的中心坐标是(x_t,y_t)，t∈(0,...,n‑1)；(3b)将三维场景的同步左右图像块(I_L(p_t),I_R(p_t))输入至步骤(2d)得到的精调后网络中，从该网络输出与该左右图像块对应位置的三维场景的视差图图像块D(p_t)；(3c)对三维场景的视差图图像块D(p_t)进行融合，得到三维场景的视差图D。