[发明专利]一种基于改进的卷积神经网络实现图像编辑传播的方法

摘要

一种基于改进的卷积神经网络实现图像编辑传播的方法，首先引入组合卷积来代替传统的卷积，通过这个结构可以提取更加合理的图像特征，并且减少模型的参数量和卷积的操作数。同时引入对错分的背景类进行加权的有偏损失函数，以防止背景类被误着色而造成颜色溢出。该方法包括以下步骤：通过交互的方式对一幅待处理的图像加以笔触；根据笔触从图像中提取训练集和测试集；利用改进的卷积神经网络进行模型训练；利用训练得到的模型进行测试，最终实现图像上色。

主权项

1.一种基于改进的卷积神经网络实现图像编辑传播的方法，具体步骤如下：

1)、通过交互的方式对一幅待处理的图像加以笔触；具体包括：对于一幅待处理的图像，通过photoshop等图像处理软件，对该图像加以任意颜色的笔触；

2)、根据笔触从图像中提取训练集和测试集；具体包括：

(21)训练集的提取：在笔触覆盖的所有像素点中，随机选取10％的像素点，并且以图像左上角作为坐标原点，得到这些像素点的相对坐标；然后分别以这些坐标为中心，选取9*9的邻域，得到大小为9*9的图像小片，并记录这些中心坐标的坐标值；这里在提取9*9邻域的时候，可能会发生邻域的选取超出边界的情况，处理的办法是分别对图像的四条边进行四个像素点的扩充，扩充的像素点的值用零填充；最后将这些像素点所覆盖的笔触颜色作为该图像小片的标签；

(22)测试集的提取：使用SLIC方法，将待处理的图像划分成超像素集；这里要求调整SILC方法中的参数，使得超像素划分得到的超像素在保持合理性的同时尽量接近于一个矩形；每一个超像素包含多个像素点，将多个像素点的坐标求和取平均并向下取整，得到一个新的坐标；再将此坐标作为中心坐标，选取9*9邻域，得到多个大小为9*9的图像小片，并保存这些中心坐标值；最后将这些图像小片作为测试集；

3)、利用改进的卷积神经网络进行模型训练；具体包括：

(31)提出组合卷积的结构，具体步骤如下：

101)组合卷积由可变形卷积和可分离卷积组成，用来替换传统卷积神经网络中的卷积层，可以提取有效的特征；以输入特征的左上角为坐标原点，可以得到输入特征图中每一个元素的坐标值(x_i,y_i)，x_i表示某元素的x轴坐标，y_i表示某元素的y轴坐标；然后对x_i和y_i进行随机地偏移，公式可以表示为：

x_i'＝x_i+Δf_xi,

y_i'＝y_i+Δf_yi,

这里的Δf_xi表示x轴坐标随机偏移的量，x_i'表示偏移后的x轴坐标，Δf_yi表示y轴坐标随机偏移的量，y_i'表示偏移后的y轴坐标；根据每一个元素偏移后的坐标，可以通过双线性插值得到偏移后坐标对应的像素值；至此可以得到偏移后的特征图；

102)对上述操作得到的特征图，使用可分离卷积提取图像特征；可分离卷积通过两个卷积操作来提取图像特征；若输入特征图的大小为D_F×D_F×M，首先使用大小为D_K×D_K×M的卷积核进行卷积操作，这里的D_F为特征图的宽和高，D_K卷积核的宽和高，M为输入特征图的数量，同时也表示第一个卷积操作使用的卷积核的数量；假设卷积操作不改变图像的大小，那么可以得到大小为D_F×D_F×M的输出特征图；然后再使用大小为1×1×N的卷积核进行卷积操作，这里的N表示第二个卷积的卷积核数量；得到输出大小为D_F×D_F×N的输出特征图；可分离卷积一共包含D_F×D_F×M+N个参数，以及所需的乘法操作数量为D_F×D_F×M×D_K×D_K+D_F×D_F×N×M；

(32)提出有偏的交叉熵损失函数的形式：

在模型的训练过程中，将有偏的损失函数作为目标函数，即在训练模型时极小化如下目标函数：

这里的p表示真实标记的分布，q表示模型的预测标记分布，x表示输入数据，α表示背景类的损失和非背景类的损失之间的偏倚程度；

(33)构造双分支的卷积神经网络模型：

该模型的第一个分支的输入时9*9的图像小片，第二个分支的输入对应该图像小片的坐标值，为一个二维的向量；第一个分支使用两层组合卷积提取图像特征，并将两层组合卷积的输出展开成一个一维向量；第二个分支使用一层全连接层提取坐标的特征，并与第一个分支连接，形成一个包含两个分支特征的一维向量；最后使用一层全连接对该一维向量提取特征并使用softmax函数进行分类；

4)、利用训练得到的模型进行测试，实现图像编辑传播；具体包括：使用步骤3)训练得到的模型，将测试集中的图像小片作为模型的输入做前向传播，得到每一个图像小片对应的每一个颜色类别的概率；选取概率值最大的颜色作为预测得到的结果，并将该图像小片对应的超像素中的每一个元素着色为预测的颜色；最终实现对图像的整体上色。