[发明专利]基于参数共享深度学习网络的立体图像视觉显著提取方法

摘要

本发明公开了一种基于参数共享深度学习网络的立体图像视觉显著提取方法，其在训练阶段构建参数共享深度学习网络，其包括输入层、参数共享特征提取框架、显著图生成框架，参数共享特征提取框架由resnet‑50网络中的第1块resnet‑50卷积网络块、第2块resnet‑50卷积网络块、第3块resnet‑50卷积网络块、第4块resnet‑50卷积网络块、第5块resnet‑50卷积网络块依次设置组成，利用参数共享特征提取框架提取彩色图特征和视差图特征；在测试阶段利用参数共享深度学习网络训练模型对待测试的立体图像的左视点图像和左视差图像进行预测，得到人类注视预测图即视觉显著图像；优点是其提取的立体视觉特征符合显著语义，且其具有较强的提取稳定性和较高的提取准确性。

主权项

1.一种基于参数共享深度学习网络的立体图像视觉显著提取方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1：选取N幅宽度为R且高度为L的立体图像，将第n幅立体图像的左视点图像、左视差图像和人类注视图对应记为{I_L,n(x,y)}、{I_D,n(x,y)}和{I_F,n(x,y)}；再将每幅立体图像的左视点图像缩放到480×640像素尺寸，得到每幅立体图像的左视点图像对应的480×640像素尺寸图像，将{I_L,n(x,y)}对应的480×640像素尺寸图像记为{I_L,n(x₄₈₀,y₆₄₀)}；并将每幅立体图像的左视差图像缩放到480×640像素尺寸，得到每幅立体图像的左视差图像对应的480×640像素尺寸图像，将{I_D,n(x,y)}对应的480×640像素尺寸图像记为{I_D,n(x₄₈₀,y₆₄₀)}；将每幅立体图像的人类注视图缩放到30×40像素尺寸，得到每幅立体图像的人类注视图对应的30×40像素尺寸图像，将{I_F,n(x,y)}对应的30×40像素尺寸图像记为{I_F,n(x₃₀,y₄₀)}；其中，N为正整数，N≥100，n为正整数，n的初始值为1，1≤n≤N，1≤x≤R，1≤y≤L，I_L,n(x,y)表示{I_L,n(x,y)}中坐标位置为(x,y)的像素点的像素值，I_D,n(x,y)表示{I_D,n(x,y)}中坐标位置为(x,y)的像素点的像素值，I_F,n(x,y)表示{I_F,n(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x₄₈₀≤480，1≤y₆₄₀≤640，I_L,n(x₄₈₀,y₆₄₀)表示{I_L,n(x₄₈₀,y₆₄₀)}中坐标位置为(x₄₈₀,y₆₄₀)的像素点的像素值，I_D,n(x₄₈₀,y₆₄₀)表示{I_D,n(x₄₈₀,y₆₄₀)}中坐标位置为(x₄₈₀,y₆₄₀)的像素点的像素值，1≤x₃₀≤30，1≤y₄₀≤40，I_F,n(x₃₀,y₄₀)表示{I_F,n(x₃₀,y₄₀)}中坐标位置为(x₃₀,y₄₀)的像素点的像素值；步骤1_2：构建参数共享深度学习网络：参数共享深度学习网络包括输入层、参数共享特征提取框架、显著图生成框架；输入层由彩色图输入层和视差图输入层组成；参数共享特征提取框架由resnet‑50网络中的第1块resnet‑50卷积网络块、第2块resnet‑50卷积网络块、第3块resnet‑50卷积网络块、第4块resnet‑50卷积网络块、第5块resnet‑50卷积网络块依次设置组成；显著图生成框架由连接层和卷积层组成，其中，卷积层的卷积核大小为(3,3)、卷积步长为(1,1)、卷积核数目为1、激活函数为relu函数；在输入层中，对于彩色图输入层，彩色图输入层的输入端接收一幅输入立体图像的左视点图像对应的480×640像素尺寸图像，彩色图输入层的输出端输出左视点图像对应的480×640像素尺寸图像给参数共享特征提取框架；对于视差图输入层，视差图输入层的输入端接收一幅输入立体图像的左视差图像对应的480×640像素尺寸图像，视差图输入层的输出端输出左视差图像对应的480×640像素尺寸图像给参数共享特征提取框架；其中，要求输入立体图像的宽度为R且高度为L；在参数共享特征提取框架中，在参数共享的前提下，第1块resnet‑50卷积网络块的输入端接收彩色图输入层的输出端输出的左视点图像对应的480×640像素尺寸图像，同时接收视差图输入层的输出端输出的左视差图像对应的480×640像素尺寸图像；第1块resnet‑50卷积网络块的输出端输出与左视点图像相应的64幅特征图，同时输出与左视差图像相应的64幅特征图，将输出的与左视点图像相应的64幅特征图构成的集合记为V_L,1，将输出的与左视差图像相应的64幅特征图构成的集合记为V_D,1；其中，V_L,1和V_D,1中的特征图的宽度均为480且高度均为640；在参数共享的前提下，第2块resnet‑50卷积网络块的输入端接收V_L,1中的所有特征图，同时接收V_D,1中的所有特征图；第2块resnet‑50卷积网络块的输出端输出与左视点图像相应的256幅特征图，同时输出与左视差图像相应的256幅特征图，将输出的与左视点图像相应的256幅特征图构成的集合记为V_L,2，将输出的与左视差图像相应的256幅特征图构成的集合记为V_D,2；其中，V_L,2和V_D,2中的特征图的宽度均为240且高度均为320；在参数共享的前提下，第3块resnet‑50卷积网络块的输入端接收V_L,2中的所有特征图，同时接收V_D,2中的所有特征图；第3块resnet‑50卷积网络块的输出端输出与左视点图像相应的512幅特征图，同时输出与左视差图像相应的512幅特征图，将输出的与左视点图像相应的512幅特征图构成的集合记为V_L,3，将输出的与左视差图像相应的512幅特征图构成的集合记为V_D,3；其中，V_L,3和V_D,3中的特征图的宽度均为120且高度均为160；在参数共享的前提下，第4块resnet‑50卷积网络块的输入端接收V_L,3中的所有特征图，同时接收V_D,3中的所有特征图；第4块resnet‑50卷积网络块的输出端输出与左视点图像相应的1024幅特征图，同时输出与左视差图像相应的1024幅特征图，将输出的与左视点图像相应的1024幅特征图构成的集合记为V_L,4，将输出的与左视差图像相应的1024幅特征图构成的集合记为V_D,4；其中，V_L,4和V_D,4中的特征图的宽度均为60且高度均为80；在参数共享的前提下，第5块resnet‑50卷积网络块的输入端接收V_L,4中的所有特征图，同时接收V_D,4中的所有特征图；第5块resnet‑50卷积网络块的输出端输出与左视点图像相应的2048幅特征图，同时输出与左视差图像相应的2048幅特征图，将输出的与左视点图像相应的2048幅特征图构成的集合记为V_L,5，将输出的与左视差图像相应的2048幅特征图构成的集合记为V_D,5；其中，V_L,5和V_D,5中的特征图的宽度均为30且高度均为40；在显著图生成框架中，连接层的输入端接收V_L,5中的所有特征图和V_D,5中的所有特征图，连接层的输出端输出4096幅特征图；卷积层的输入端接收连接层的输出端输出的所有特征图，卷积层的输出端输出1幅特征图，该幅特征图即为输入立体图像的人类注视预测图；其中，连接层的输出端输出的特征图的宽度均为30且高度均为40，人类注视预测图的宽度为30且高度为40；步骤1_3：将步骤1_1中选取的每幅立体图像作为输入立体图像，将每幅输入立体图像的人类注视图对应的30×40像素尺寸图像作为监督，将每幅输入立体图像的左视点图像对应的480×640像素尺寸图像及左视差图像对应的480×640像素尺寸图像输入到参数共享深度学习网络中进行训练，得到每幅输入立体图像的人类注视预测图；步骤1_4：重复执行步骤1_3共M次，得到参数共享深度学习网络训练模型及其最优权值矢量和最优偏置项；其中，M为正整数，M＞1；所述的测试阶段过程的具体步骤为：步骤2_1：令{I_test(x',y')}表示待测试的立体图像，将{I_test(x',y')}的左视点图像和左视差图像对应记为{I_test,L(x',y')}和{I_test,D(x',y')}；再将{I_test,L(x',y')}缩放到480×640像素尺寸，得到{I_test,L(x',y')}对应的480×640像素尺寸图像，记为{I_test,L(x'₄₈₀,y'₆₄₀)}；并将{I_test,D(x',y')}缩放到480×640像素尺寸，得到{I_test,D(x',y')}对应的480×640像素尺寸图像，记为{I_test,D(x'₄₈₀,y'₆₄₀)}；其中，1≤x'≤R'，1≤y'≤L'，R'表示{I_test(x',y')}的宽度，L'表示{I_test(x',y')}的高度，I_test(x',y')表示{I_test(x',y')}中坐标位置为(x',y')的像素点的像素值，I_test,L(x',y')表示{I_test,L(x',y')}中坐标位置为(x',y')的像素点的像素值，I_test,D(x',y')表示{I_test,D(x',y')}中坐标位置为(x',y')的像素点的像素值，1≤x'₄₈₀≤480，1≤y'₆₄₀≤640，I_test,L(x'₄₈₀,y'₆₄₀)表示{I_test,L(x'₄₈₀,y'₆₄₀)}中坐标位置为(x'₄₈₀,y'₆₄₀)的像素点的像素值，I_test,D(x'₄₈₀,y'₆₄₀)表示{I_test,D(x'₄₈₀,y'₆₄₀)}中坐标位置为(x'₄₈₀,y'₆₄₀)的像素点的像素值；步骤2_2：将{I_test,L(x'₄₈₀,y'₆₄₀)}和{I_test,D(x'₄₈₀,y'₆₄₀)}输入到参数共享深度学习网络训练模型中，并利用最优权值矢量和最优偏置项进行预测，得到{I_test(x',y')}的人类注视预测图即视觉显著图像，记为{I_test,F(x'₃₀,y'₄₀)}；其中，1≤x'₃₀≤30，1≤y'₄₀≤40，I_test,F(x'₃₀,y'₄₀)表示{I_test,F(x'₃₀,y'₄₀)}中坐标位置为(x'₃₀,y'₄₀)的像素点的像素值。