[发明专利]多光源预测方法

权利要求书

1.一种多光源预测方法，其特征在于，包括如下步骤：

由特征提取网络进行图像的色彩与语义特征的解耦，得到高维特征矩阵；

由主成光源预测网络，通过所述特征提取网络得到的高维特征矩阵进行主成光源的光源值的预测；

由光源分布权重图预测网络，通过所述特征提取网络中得到的高维特征矩阵，实现像素级的光源分布权重图预测。

2.如权利要求1所述的多光源预测方法，其特征在于，所述特征提取网络包含浅层语义提取分支、深层语义提取分支以及色彩偏好提取分支，所述浅层语义提取分支通过较小的感受野对图像中的浅层语义信息进行提取，所述深层语义提取分支通过较大的感受野对图像中的深层语义信息进行提取，以便提取图像中不同组成结构的关联关系，所述色彩偏好提取分支进行图像中的色彩偏好提取，以便实现色彩与语义特征的解耦。

3.如权利要求2所述的多光源预测方法，其特征在于，采用如下设置一种或多种：

所述浅层语义提取分支包含5个卷积层，4个池化层，该分支所有的卷积层均为卷积核为3×3，步长为2；

所述深层语义提取分支采用AlexNet的前5层网络，该网络包含5个卷积层以及3个池化层，其中前两层卷积层的卷积核分别为11×11以及5×5，后三层卷积层卷积核均为3×3；

所述色彩偏好提取分支采用5个卷积层以及4个池化层，所有的卷积层卷积核均为1×1。

4.如权利要求1至3任一项所述的多光源预测方法，其特征在于，所述主成光源预测网络包括光源位置选择模块以及光源回归模块，所述光源位置选择模块由与待预测光源数量相同的卷积网络构成，采用卷积核大小为1×1的卷积层，结合2倍的池化下采样实现对于光源位置的确定；所述光源回归模块采用全卷积网络，在所述光源位置选择模块确定光源位置后，通过提取各通道的特征，实现光源的回归。

5.如权利要求4所述的多光源预测方法，其特征在于，所述主成光源预测网络还包括通道注意力模块，所述通道注意力模块将原始高维特征矩阵F中的通道进行重新加权，从而获得具有不同通道权重值的特征矩阵G。

6.如权利要求5所述的多光源预测方法，其特征在于，所述特征矩阵G通过公式(1)计算：

其中，ω为通道加权的权重，k是对应矩阵通道的维数，i为对应特征图的像素点，表示各通道相乘。

7.如权利要求1至6任一项所述的多光源预测方法，其特征在于，所述光源分布权重图预测网络包括四个上采样层，所述四个上采样层与所述特征提取网络中对应特征图大小位置进行短连接。

8.如权利要求1至7任一项所述的多光源预测方法，其特征在于，采用预测光源值与真实标定光源值E之间的角误差L_angular作为评价指标如下：

其中，预测值与真实标定值E之间使用内积(·)计算，光源值实际是大小为(1,1,3)的3维矩阵，该矩阵代表在RGB空间中R、G、B三通道值的大小；

以最小化预测值与真实值之间的角误差L_angular作为优化目标，并将角误差L_angular作为主成光源预测网络的损失函数用以优化迭代该网络。

9.如权利要求8所述的多光源预测方法，其特征在于，还使用均方误差MSE作为光源分布权重图网络的损失函数如下：

其中，N为样本数量，i为当前样本编号，x_i为当前样本，为所有样本的均值；

优选地，将预测光源值与光源权重图相乘得到像素级的光源分布，该光源分布同样也使用角误差进行监督，监督全图所有像素点角误差的平均值：

其中，为光源分布图中每一像素点i的预测光源值，N为全图像素的总数，E_i为i点的真实光源值；该网络最终的损失函数L为：

其中，k代表k个候选主成光源k∈{2,...,N}。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序由处理器执行时，实现如权利要求1至9任一项所述的方法。