[发明专利]一种基于生成对抗网络的倾斜图像的矫正方法及装置

权利要求书

1.一种基于生成对抗网络的倾斜图像的矫正方法，其特征在于，包括：

步骤S1：从预设开源库中获取原始图片数据，对原始图片数据进行预处理；

步骤S2：对预处理后的图片数据建立数据集合，从数据集合中划分出训练集；

步骤S3：基于生成对抗网络，建立用于倾斜图像矫正的TiltGAN模型；

步骤S4：通过训练集对TiltGAN模型进行训练，获得训练后的TiltGAN模型；

步骤S5：将原始倾斜图像输入所述训练后的TiltGAN模型，获得矫正后的第一图像；

步骤S6：根据矫正后的第一图像与原始倾斜图像的灰度值变化，计算原始倾斜图像的倾斜角度，并基于所述倾斜角度，对原始倾斜图像进行矫正；

其中，步骤S1中对原始图片数据进行预处理，具体包括：

统一数据格式、数据净化以及数据倾斜处理；

步骤S3所述的用于倾斜图像矫正的TiltGAN模型，包括三个部分，第一部分为提取图像内容特征的编码器，包括四个残差块；第二部分为提取图像变换特征的编码器，包括五个卷积层、一个池化层和一个全连接层；第三部分是解码器，包括四个残差块，用于对图像变换编码器提取到的变换特征进行转化，然后将变换特征与内容特征进行合并，最后输出图像；

其中，步骤S2具体包括：

步骤S2.1：按照预处理后的数据是否倾斜分成正常图像集合Normal{n_1,n_2…n_n}和倾斜图像Tilt{t_1,t_2…t_n}，其中，n_1、n_2和n_n表示正常图像集合中的图像元素，t_1、t_2和t_n表示倾斜图像集合中的图像元素；

步骤S2.2：按照预设比例将正常图像集合划分为第一训练集Normal_Train与第一验证集Normal_Test，按照预设比例将倾斜图像集合划分为第二训练集Tilt_Train与第二验证集Tilt_Test，其中训练集包括第一训练集和第二训练集；

步骤S4具体包括：

步骤S4.1：构建TiltGAN模型的损失函数，损失函数由四部分构成，图像重建损失部分图像内容学习损失部分图像变换学习损失部分以及对抗损失部分其中，四部分的定义分别如下：

其中，表示图像类别x₁在其真实分布p下的期望，分别表示图像类别x₁的内容域和特征域的期望，表示图像类别x₁的生成器G₁在内容域为c₁，特征域为s₁的情况下生成的图片；表示内容域c₁在其真实分布p下与特征域s₂在其生成器G₂中学习到的分布q下的期望，表示图像类别x₂的生成器G₂在内容域为c₁，特征域为s₂下生成的图片的内容域的期望值；表示图像类别x₂的生成器G₂在内容域为c₁，特征域为s₂下生成的图片的特征域的期望值；D₂(G₂(c₁，s₂))表示图像类别x₂的判别器D₂对图像类别x₂的生成器G₂在内容域为c₁，特征域为s₂下生成的图片的判别结果，属于x₂这一类则结果为1，否则结果为0；表示、图像类别x₂在其真实分布p下的期望；D₂(x₂)表示图像类别x₂的判别器D₂对图像类别x₂中的图像的判别结果；

步骤S4.2：通过训练集对模型进行训练，当损失函数的值达到阈值后，停止训练，获得训练后的TiltGAN模型；

步骤S6具体包括：

步骤S6.1：根据灰度区间λ计算矫正后的第一图像与原始倾斜图像的灰度差值score₁；

步骤S6.2：将原始倾斜图像分别向左旋转θ₁、向右旋转θ₁，并计算向左旋转θ₁后的图像的第一灰度值和向右旋转θ₁后的图像的第二灰度值，然后计算向左旋转θ₁后的图像与矫正后的第一图像的灰度差值score₂、和向右旋转θ₁后的图像与矫正后的第一图像的灰度差值score₃；

步骤S6.3：比较score₁、score₂和score₃，取三者中的最小值，如果最小值为score₂或score₃，则将原始倾斜图像按score₂或score₃所旋转的角度进行矫正，重复执行步骤S6.1～步骤S6.2；如果最小值为score₁，若θ₁大于0.5度，则将θ₁更新为原始值的二分之一，重复执行步骤S6.2，若θ₁不大于0.5度，则执行步骤S6.4；

步骤S6.4：将灰度区间λ更新为当前的四分之一，重新计算矫正后的第一图像与原始倾斜图像的灰度值，并计算二者的灰度差值score₁′ ；

步骤S6.5：将原始倾斜图像分别向左旋转θ₁′ 、向右旋转θ₁′，并计算向左旋转θ₁′后的图像的第一灰度值和向右旋转θ₁′后的图像的第二灰度值，然后计算向左旋转θ₁′后的图像与矫正后的第一图像的灰度差值score₂′、和向右旋转θ₁′后的图像与矫正后的第一图像的灰度差值score₃′；

步骤S6.6：对比score₁′，score₂′，score₃′ ，取其中的最小值，其中，最小值对应的图像为最终矫正后的图像；

步骤S2中数据倾斜处理，包括：左右各倾斜30度，每倾斜2度保存一次。