[发明专利]一种图像反射分离方法及装置

权利要求书

1.一种图像反射分离方法，其特征在于，所述方法包括：

将同一视点场景的图像组输入已训练的参数预测网络，以由所述参数预测网络基于该图像组预测得到玻璃几何参数；所述玻璃几何参数包括水平旋转参数和垂直旋转参数；

利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数；

依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像；

其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。

2.根据权利要求1所述的方法，其特征在于，所述参数预测网络基于该图像组预测得到玻璃几何参数，包括：

通过本参数预测网络中的拼接层将该图像组中两帧图像沿RGB通道所在维度拼接构成第一输入张量，并输出给本参数预测网络中的卷积网络；

通过所述卷积网络对所述第一输入张量进行卷积操作得到输出张量，并将输出张量拉伸为一维向量后输出给本参数预测网络中的全连接网络；

通过所述全连接网络利用所述一维向量预测得到玻璃几何参数。

3.根据权利要求1所述的方法，其特征在于，利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数，包括：

利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的入射角和使振动方向垂直或平行于入射面的光分量通过最多的第一偏振片角度；

针对该图像组中的每帧图像，如果该帧图像为偏振图像，则利用该帧图像上各像素点的入射角、使振动方向垂直或平行于入射面的光分量通过最多的第一偏振片角度以及拍摄该帧图像时的第二偏振片角度确定该帧图像上各像素点的混合系数；

如果该帧图像为非偏振图像，则利用该帧图像上各像素点的入射角确定该帧图像上各像素点的混合系数。

4.根据权利要求1所述的方法，其特征在于，在利用每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像之后，所述方法还包括：

将该图像组中的两帧图像、分离出的反射图像和背景图像沿RGB通道所在维度拼接构成第二输入张量；

将所述第二输入张量输入已训练的优化网络，以由所述优化网络对所述第二输入张量进行优化操作，得到优化后的反射图像和背景图像。

5.根据权利要求1所述的方法，其特征在于，所述参数预测网络的训练过程，包括：

分别从反射图像集与背景图像集中选取一帧反射图像和一帧背景图像；

随机选择一组玻璃几何参数，并利用选择的玻璃几何参数分别确定用于训练参数预测网络的图像组中每帧图像上各像素点的混合系数；

对所述反射图像和所述背景图像分别进行动态范围调整，得到调整后的反射图像和调整后的背景图像；

利用调整后的反射图像、调整后的背景图像以及图像组中每帧图像上各像素点的混合系数，合成用于训练参数预测网络的图像组；

利用合成的图像组训练参数预测网络模型，直至损失值低于预设数值，停止训练；

其中，参数预测网络模型的损失值根据参数预测网络模型输出的玻璃几何参数和选择的玻璃几何参数获得。

6.一种图像反射分离装置，其特征在于，所述装置包括：

参数预测模块，用于将同一视点场景的图像组输入已训练的参数预测网络，以由所述参数预测网络基于该图像组预测得到玻璃几何参数；所述玻璃几何参数包括水平旋转参数和垂直旋转参数；

混合系数确定模块，用于利用所述玻璃几何参数确定该图像组中每帧图像上各像素点的混合系数；

分离模块，用于依据每帧图像上各像素点的混合系数和该图像组分离出反射图像和背景图像；

其中，该图像组由一帧偏振图像和一帧非偏振图像组成，或者由两帧偏振角度不同的偏振图像组成。