[发明专利]一种基于深度可分卷积神经网络的视觉深度估计方法

摘要

本发明公开了一种基于深度可分卷积神经网络的视觉深度估计方法，其先构建深度可分卷积神经网络，其隐层包括卷积层、批规范化层、激活层、最大池化层、conv_block网络块、深度可分卷积网络块、Concatanate融合层、Add融合层、反卷积层、可分离卷积层；然后使用训练集中的单目图像作为原始输入图像，输入到深度可分卷积神经网络中进行训练，得到单目图像对应的估计深度图像；接着通过计算训练集中的单目图像对应的估计深度图像与对应的真实深度图像之间的损失函数值，得到深度可分卷积神经网络训练模型及最优权值矢量；再将待预测的单目图像输入到深度可分卷积神经网络训练模型中，并利用最优权值矢量，预测得到对应的预测深度图像；优点是其预测精度高。

主权项

1.一种基于深度可分卷积神经网络的视觉深度估计方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1：选取N幅原始的单目图像及每幅原始的单目图像对应的真实深度图像，并构成训练集，将训练集中的第n幅原始的单目图像记为{Qⁿ(x,y)}，将训练集中与{Qⁿ(x,y)}对应的真实深度图像记为其中，N为正整数，N≥1000，n为正整数，1≤n≤N，1≤x≤R，1≤y≤L，R表示{Qⁿ(x,y)}和的宽度，L表示{Qⁿ(x,y)}和的高度，R和L均能被2整除，Qⁿ(x,y)表示{Qⁿ(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤1_2：构建深度可分卷积神经网络：深度可分卷积神经网络包括输入层、隐层和输出层；隐层包括5个卷积层、11个批规范化层、9个激活层、3个最大池化层、2个conv_block网络块、4个深度可分卷积网络块、1个Concatanate融合层、3个Add融合层、3个反卷积层、3个可分离卷积层；深度可分卷积网络块由1个卷积层、4个批规范化层、2个可分离卷积层、3个激活层、1个带孔可分离卷积层、1个Add融合层组成，深度可分卷积网络块中的卷积层和第1个批规范化层依次设置构成第一输入块，深度可分卷积网络块中的第1个可分离卷积层、第2个批规范化层、第1个激活层、带孔可分离卷积层、第3个批规范化层、第2个激活层、第2个可分离卷积层、第4个批规范化层依次设置构成第二输入块；对于输入层，输入层的输入端接收一幅原始输入图像，输入层的输出端输出原始输入图像给隐层；其中，要求输入层的输入端接收的原始输入图像的宽度为R、高度为L；对于隐层，5个卷积层的卷积核大小均为3×3、卷积步长均采用默认值，第1个卷积层的卷积核个数为16，第2个卷积层的卷积核个数为32，第3个卷积层的卷积核个数为64，第4个卷积层的卷积核个数为1024，第5个卷积层的卷积核个数为1，11个批规范化层的参数均采用默认值，9个激活层的激活函数均采用ReLu，3个最大池化层的池化步长均为2×2，2个conv_block网络块各自中的所有卷积层和带孔卷积层的卷积核大小均为3×3、卷积步长均采用默认值，第1个conv_block网络块中的所有卷积层和带孔卷积层的卷积核个数为128，第2个conv_block网络块中的所有卷积层和带孔卷积层的卷积核个数为256，2个conv_block网络块各自中的所有批规范化层的参数均采用默认值，2个conv_block网络块各自中的所有激活层的激活函数均采用ReLu，第1个conv_block网络块中的1个带孔卷积层为一卷积层通过设置扩张比为1×1形成，第2个conv_block网络块中的1个带孔卷积层为一卷积层通过设置扩张比为2×2形成，4个深度可分卷积网络块中的卷积层、可分离卷积层、带孔可分离卷积层的卷积核大小均为3×3、卷积步长均采用默认值，第1个和第2个深度可分卷积网络块中的卷积层、可分离卷积层、带孔可分离卷积层的卷积核个数为128，第3个深度可分卷积网络块中的卷积层、可分离卷积层、带孔可分离卷积层的卷积核个数为256，第4个深度可分卷积网络块中的卷积层、可分离卷积层、带孔可分离卷积层的卷积核个数为512，第1个深度可分卷积网络块中的带孔可分离卷积层为一可分离卷积层通过设置扩张比为1×1形成，第2个深度可分卷积网络块中的带孔可分离卷积层为一可分离卷积层通过设置扩张比为1×1形成，第3个深度可分卷积网络块中的带孔可分离卷积层为一可分离卷积层通过设置扩张比为2×2形成，第4个深度可分卷积网络块中的带孔可分离卷积层为一可分离卷积层通过设置扩张比为4×4形成，4个深度可分卷积网络块中的批规范化层的参数均采用默认值，4个深度可分卷积网络块中的激活层的激活函数均采用ReLu，3个反卷积层的卷积核大小均为3×3、卷积步长均为2×2，第1个反卷积层的卷积核个数为64，第2个反卷积层的卷积核个数为32，第3个反卷积层的卷积核个数为16，3个可分离卷积层的卷积核大小均为3×3、卷积步长均采用默认值，第1个可分离卷积层的卷积核个数为64，第2个可分离卷积层的卷积核个数为32，第3个可分离卷积层的卷积核个数为16；对于隐层，第1个卷积层的输入端接收输入层的输出端输出的原始输入图像，第1个卷积层的输出端输出16幅特征图，将输出的所有特征图构成的集合记为J₁，其中，J₁中的每幅特征图的宽度为R、高度为L；第1个批规范化层的输入端接收J₁中的所有特征图，第1个批规范化层的输出端输出16幅特征图，将输出的所有特征图构成的集合记为P₁，其中，P₁中的每幅特征图的宽度为R、高度为L；第1个激活层的输入端接收P₁中的所有特征图，第1个激活层的输出端输出16幅特征图，将输出的所有特征图构成的集合记为H₁，其中，H₁中的每幅特征图的宽度为R、高度为L；第1个最大池化层的输入端接收H₁中的所有特征图，第1个最大池化层的输出端输出16幅特征图，将输出的所有特征图构成的集合记为Z₁，其中，Z₁中的每幅特征图的宽度为高度为第2个卷积层的输入端接收Z₁中的所有特征图，第2个卷积层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为J₂，其中，J₂中的每幅特征图的宽度为高度为第2个批规范化层的输入端接收J₂中的所有特征图，第2个批规范化层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为P₂，其中，P₂中的每幅特征图的宽度为高度为第2个激活层的输入端接收P₂中的所有特征图，第2个激活层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为H₂，其中，H₂中的每幅特征图的宽度为高度为第2个最大池化层的输入端接收H₂中的所有特征图，第2个最大池化层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为Z₂，其中，Z₂中的每幅特征图的宽度为高度为第3个卷积层的输入端接收Z₂中的所有特征图，第3个卷积层的输出端输出64幅特征图，将输出的所有特征图构成的集合记为J₃，其中，J₃中的每幅特征图的宽度为高度为第3个批规范化层的输入端接收J₃中的所有特征图，第3个批规范化层的输出端输出64幅特征图，将输出的所有特征图构成的集合记为P₃，其中，P₃中的每幅特征图的宽度为高度为第3个激活层的输入端接收P₃中的所有特征图，第3个激活层的输出端输出64幅特征图，将输出的所有特征图构成的集合记为H₃，其中，H₃中的每幅特征图的宽度为高度为第3个最大池化层的输入端接收H₃中的所有特征图，第3个最大池化层的输出端输出64幅特征图，将输出的所有特征图构成的集合记为Z₃，其中，Z₃中的每幅特征图的宽度为高度为第1个conv_block网络块的输入端接收Z₃中的所有特征图，第1个conv_block网络块的输出端输出128幅特征图，将输出的所有特征图构成的集合记为B₁，其中，B₁中的每幅特征图的宽度为高度为第1个深度可分卷积网络块的输入端接收B₁中的所有特征图，第1个深度可分卷积网络块的输出端输出128幅特征图，将输出的所有特征图构成的集合记为S₁，其中，S₁中的每幅特征图的宽度为高度为第2个深度可分卷积网络块的输入端接收S₁中的所有特征图，第2个深度可分卷积网络块的输出端输出128幅特征图，将输出的所有特征图构成的集合记为S₂，其中，S₂中的每幅特征图的宽度为高度为第2个conv_block网络块的输入端接收S₂中的所有特征图，第2个conv_block网络块的输出端输出256幅特征图，将输出的所有特征图构成的集合记为B₂，其中，B₂中的每幅特征图的宽度为高度为第3个深度可分卷积网络块的输入端接收B₂中的所有特征图，第3个深度可分卷积网络块的输出端输出256幅特征图，将输出的所有特征图构成的集合记为S₃，其中，S₃中的每幅特征图的宽度为高度为第4个深度可分卷积网络块的输入端接收S₃中的所有特征图，第4个深度可分卷积网络块的输出端输出512幅特征图，将输出的所有特征图构成的集合记为S₄，其中，S₄中的每幅特征图的宽度为高度为Concatanate融合层的输入端接收B₁中的所有特征图、S₁中的所有特征图、S₂中的所有特征图、B₂中的所有特征图、S₃中的所有特征图、S₄中的所有特征图，Concatanate融合层的输出端输出1408幅特征图，将输出的所有特征图构成的集合记为C₁，其中，C₁中的每幅特征图的宽度为高度为第4个激活层的输入端接收C₁中的所有特征图，第4个激活层的输出端输出1408幅特征图，将输出的所有特征图构成的集合记为H₄，其中，H₄中的每幅特征图的宽度为高度为第4个卷积层的输入端接收H₄中的所有特征图，第4个卷积层的输出端输出1024幅特征图，将输出的所有特征图构成的集合记为J₄，其中，J₄中的每幅特征图的宽度为高度为第4个批规范化层的输入端接收J₄中的所有特征图，第4个批规范化层的输出端输出1024幅特征图，将输出的所有特征图构成的集合记为P₄，其中，P₄中的每幅特征图的宽度为高度为第5个激活层的输入端接收P₄中的所有特征图，第5个激活层的输出端输出1024幅特征图，将输出的所有特征图构成的集合记为H₅，其中，H₅中的每幅特征图的宽度为高度为第1个反卷积层的输入端接收H₅中的所有特征图，第1个反卷积层的输出端输出64幅特征图，将输出的所有特征图构成的集合记为F₁，其中，F₁中的每幅特征图的宽度为高度为第5个批规范化层的输入端接收F₁中的所有特征图，第5个批规范化层的输出端输出64幅特征图，将输出的所有特征图构成的集合记为P₅，其中，P₅中的每幅特征图的宽度为高度为第1个可分离卷积层的输入端接收H₃中的所有特征图，第1个可分离卷积层的输出端输出64幅特征图，将输出的所有特征图构成的集合记为K₁，其中，K₁中的每幅特征图的宽度为高度为第9个批规范化层的输入端接收K₁中的所有特征图，第9个批规范化层的输出端输出64幅特征图，将输出的所有特征图构成的集合记为P₉，其中，P₉中的每幅特征图的宽度为高度为第1个Add融合层的输入端接收P₉中的所有特征图和P₅中的所有特征图，第1个Add融合层的输出端输出64幅特征图，将输出的所有特征图构成的集合记为A₁，其中，A₁中的每幅特征图的宽度为高度为第6个激活层的输入端接收A₁中的所有特征图，第6个激活层的输出端输出64幅特征图，将输出的所有特征图构成的集合记为H₆，其中，H₆中的每幅特征图的宽度为高度为第2个反卷积层的输入端接收H₆中的所有特征图，第2个反卷积层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为F₂，其中，F₂中的每幅特征图的宽度为高度为第6个批规范化层的输入端接收F₂中的所有特征图，第6个批规范化层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为P₆，其中，P₆中的每幅特征图的宽度为高度为第2个可分离卷积层的输入端接收H₂中的所有特征图，第2个可分离卷积层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为K₂，其中，K₂中的每幅特征图的宽度为高度为第10个批规范化层的输入端接收K₂中的所有特征图，第10个批规范化层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为P₁₀，其中，P₁₀中的每幅特征图的宽度为高度为第2个Add融合层的输入端接收P₁₀中的所有特征图和P₆中的所有特征图，第2个Add融合层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为A₂，其中，A₂中的每幅特征图的宽度为高度为第7个激活层的输入端接收A₂中的所有特征图，第7个激活层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为H₇，其中，H₇中的每幅特征图的宽度为高度为第3个反卷积层的输入端接收H₇中的所有特征图，第3个反卷积层的输出端输出16幅特征图，将输出的所有特征图构成的集合记为F₃，其中，F₃中的每幅特征图的宽度为R、高度为L；第7个批规范化层的输入端接收F₃中的所有特征图，第7个批规范化层的输出端输出16幅特征图，将输出的所有特征图构成的集合记为P₇，其中，P₇中的每幅特征图的宽度为R、高度为L；第3个可分离卷积层的输入端接收H₁中的所有特征图，第3个可分离卷积层的输出端输出16幅特征图，将输出的所有特征图构成的集合记为K₃，其中，K₃中的每幅特征图的宽度为R、高度为L；第11个批规范化层的输入端接收K₃中的所有特征图，第11个批规范化层的输出端输出16幅特征图，将输出的所有特征图构成的集合记为P₁₁，其中，P₁₁中的每幅特征图的宽度为R、高度为L；第3个Add融合层的输入端接收P₁₁中的所有特征图和P₇中的所有特征图，第3个Add融合层的输出端输出16幅特征图，将输出的所有特征图构成的集合记为A₃，其中，A₃中的每幅特征图的宽度为R、高度为L；第8个激活层的输入端接收A₃中的所有特征图，第8个激活层的输出端输出16幅特征图，将输出的所有特征图构成的集合记为H₈，其中，H₈中的每幅特征图的宽度为R、高度为L；第5个卷积层的输入端接收H₈中的所有特征图，第5个卷积层的输出端输出1幅特征图，将输出的所有特征图构成的集合记为J₅，其中，J₅中的每幅特征图的宽度为R、高度为L；第8个批规范化层的输入端接收J₅中的所有特征图，第8个批规范化层的输出端输出1幅特征图，将输出的所有特征图构成的集合记为P₈，其中，P₈中的每幅特征图的宽度为R、高度为L；第9个激活层的输入端接收P₈中的所有特征图，第9个激活层的输出端输出1幅特征图，将输出的所有特征图构成的集合记为H₉，其中，H₉中的每幅特征图的宽度为R、高度为L；对于输出层，输出层的输入端接收H9中的特征图，输出层的输出端输出一幅原始输入图像对应的估计深度图像；其中，估计深度图像的宽度为R、高度为L；步骤1_3：将训练集中的每幅原始的单目图像作为原始输入图像，输入到卷积神经网络中进行训练，得到训练集中的每幅原始的单目图像对应的估计深度图像，将{Qⁿ(x,y)}对应的估计深度图像记为其中，表示中坐标位置为(x,y)的像素点的像素值；步骤1_4：计算训练集中的每幅原始的单目图像对应的估计深度图像与对应的真实深度图像之间的损失函数值，将与之间的损失函数值记为步骤1_5：重复执行步骤1_3和步骤1_4共V次，得到训练好的深度可分卷积神经网络训练模型，并共得到N×V个损失函数值；然后从N×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为训练好的深度可分卷积神经网络训练模型的最优权值矢量和最优偏置项，对应记为Wbest和bbest；其中，V＞1；所述的测试阶段过程的具体步骤为：步骤2_1：令{Q(x',y')}表示待预测的单目图像；其中，1≤x'≤R'，1≤y'≤L'，R'表示{Q(x',y')}的宽度，L'表示{Q(x',y')}的高度，Q(x',y')表示{Q(x',y')}中坐标位置为(x',y')的像素点的像素值；步骤2_2：将{Q(x',y')}输入到训练好的深度可分卷积神经网络训练模型中，并利用Wbest和bbest进行预测，得到{Q(x',y')}对应的预测深度图像，记为{Qdepth(x',y')}；其中，Qdepth(x',y')表示{Qdepth(x',y')}中坐标位置为(x',y')的像素点的像素值。