[发明专利]基于稀疏双目融合卷积神经网络的立体图像质量评价方法

权利要求书

1.基于稀疏双目融合卷积神经网络的立体图像质量评价方法，其特征在于，包括如下步骤：

S1、构建基于双目融合卷积神经网络的立体图像质量评价网络，网络包含左右分支和融合分支；

S2、在双目融合卷积神经网络的每一层施加结构化稀疏约束，网络优化的目标函数如公式(1)所示：

其中，W代表网络中所有的权重；E_D(W)为网络的损失函数；R(W)为应用在所有权重上的非结构化正则约束；R_g(W^(l))为应用在每一层上的结构化稀疏正则化约束。

2.根据权利要求1所述的基于稀疏双目融合卷积神经网络的立体图像质量评价方法，其特征在于，所述S1中通过神经网络中左右视图构建左右分支步骤；

2.1、分别将左右分支进行划分第一卷积层和第一池化层、第二卷积层和第二池化层、第三卷积层、第四卷积层；

2.2、左右分支中第一卷积层进行结构稀疏约束后输入第一池化层；

2.3、第一池化层输出端与第二卷积层连接，将第二卷积层进行结构稀疏约束后输入第二池化层；

2.4、第二池化层输出端与第三卷积层连接，将第三卷积层进行结构稀疏约束后输入第四卷积层；所述第四卷积层输出端连接融合分支进行融合处理。

3.根据权利要求1所述的基于稀疏双目融合卷积神经网络的立体图像质量评价方法，其特征在于，所述S1中通过神经网络中左右视图构建融合分支步骤；

3.1、融合分支划分为第一池化层和第一卷积层、第二池化层和第二卷积层、第三卷积层、第四卷积层和第三池化层、三层全连接层，共进行四次融合操作；

3.2、来自左右分支结构稀疏约束后的第一卷积层的特征图通过‘concat’操作进行第一次融合操作，将融合后的特征图输入到融合分支第一池化层，然后送入融合分支第一卷积层进行信息处理，同时对融合分支第一卷积层进行结构化稀疏约束；

3.3、来自左右分支结构稀疏约束后的第二卷积层的特征图与融合分支经第一次融合后的第一卷积层的特征图通过‘concat’操作进行第二次融合操作，将融合后的特征图输入到融合分支第二池化层，然后送入融合分支第二卷积层进行信息处理，同时对融合分支第二卷积层进行结构化稀疏约束；

3.4、来自左右分支结构稀疏约束后的第三卷积层的特征图与融合分支经第二次融合后的第二卷积层的特征图通过‘concat’操作进行第三次融合操作，将融合后的特征图输入到融合分支第三卷积层进行信息处理，同时对融合分支第三卷积层进行结构化稀疏约束；

3.5、来自左右分支结构稀疏约束后的第四卷积层的特征图与融合分支经第三次融合后的第三卷积层的特征图通过‘concat’操作进行第四次融合操作，将融合后的特征图输入到融合分支第四卷积层进行信息处理，同时对融合分支第四卷积层进行结构化稀疏约束；将融合后的第四卷积层送入第三池化层，然后将输出特征图送入三层全连接层进行立体图像质量的判断。