[发明专利]一种融合深度区域分割的多大气光值交通图像去雾方法

权利要求书

1.一种融合深度区域分割的多大气光值交通图像去雾方法，其特征在于，包括以下步骤：

步骤1：制作雾霾图像数据集；

具体包括：

步骤1.1：在含雾的天气下，沿着交通路线，拍摄各个路口，整理成9个视频和1000张图片，对含有天空和非天空区域的图片进行筛选，最终确定264张真实交通场景图像，做成初始雾霾图像数据集；

步骤1.2：对步骤1.1中初始雾霾图像数据集的图片进行标注，即采用github开源工具labelme对雾天场景的天空和非天空区域进行分割，最终得到的雾霾图像数据集包含四类文件，第一类文件是步骤1.1中初始雾霾图像数据集，第二类文件是对第一类文件标注后生成的标签文件，第三类文件是通过第二类文件的标签信息生成的数据集，第四类文件是从第三类文件中提取的分割图片集合，共有两类，分为天空区域和非天空区域；

步骤2：利用步骤1中的雾霾图像数据集为输入，训练雾霾图像深度分割器，让机器学习雾霾天气下天空和非天空区域的特征；

具体包括：

步骤2.1：搭建Mask R-CNN网络

网络第一部分使用了残差网络ResNet对初始雾霾图像数据集中的雾霾图像的结构和纹理特征进行提取；

网络第二部分是候选区生成网络RPN，候选区生成网络RPN依赖于一个滑动的窗口，在网络第一部分输出的特征图上遍历，为每一个像素点生成9种目标框，对于生成的目标框，首先通过目标框与第三类文件中含有标签信息数据集中图片的的交叠比判断当前目标框属于前景还是背景，交叠比大于0.5认为是前景，小于0.3认为是背景，交叠比在0.3和0.5之间的目标框舍弃；然后在判断出目标框为前景的情况下，对其区域的坐标进行依次修正，整个候选区生成网络RPN的损失函数如式(1)：

其中，p_i为目标框预测为目标的概率，在正标签是值为1，其他全为0，t_i＝{t_x，t_y，t_w，t_h}是一个向量，表示预测的目标框的4个参数化坐标，是前景部分目标框对应的真实标签坐标向量，是目标和非目标的对数损失，是回归损失，λ为10，N_cls为256，N_reg设为2400，以确保两部分损失平衡；

网络第三部分是分类输出，一共有三个输出分支，第一个分支中，每一类都输出一张分割预测图；第二个分支，得到目标框的位置信息输出；第三个分支，得到类别的输出，这三个分支的输出组合成了最终的结果，包含有目标检测、识别和分割，总体损失函数为：

L_final＝L({p_i}，{t_i})+(L_cls+L_box+L_mask) (2)

其中L({p_i}，{t_i})表示RPN部分的损失，L_cls、L_box、L_mask分别表示类别、目标框、分割部分的损失；

对步骤1中的雾霾图像数据集进行训练，当总体损失函数L_final小于0.01时，跳出训练过程；

步骤2.2：对步骤1中获得的图像进行模糊C均值聚类

首先获取步骤1中雾霾图像的暗通道图，求取暗通道的公式表示为：

其中，表示训练集中图像的暗通道图，c表示RGB的某个通道，表示训练集中图像对应通道的原图，Ω(x)是计算暗通道的算子滑块大小；

然后对暗通道图进行模糊C均值聚类；

使用随机算法生成一组数据，利用不确定的数据初始化隶属度矩阵U，使其符合式：

其中，c表示聚类中心的个数，u_ij表示索引为(i，j)的隶属度；

计算出聚类中心的个数c，符合下式：

其中，c为模糊组的中心的个数，u_ij表示索引为(i，j)的隶属度，m表示控制算法的柔性参数，n是需要分类的样本数量；

设置阈值判断条件，使算法执行或者跳出，以达到损失函数要求，损失函数表示为：

其中，c_i为第i个模糊组的中心，U为隶属度矩阵，u_ij表示索引为(i，j)的隶属度，介于0到1间，d_ij＝||c_i-x_j||为第j个数据与第i个中心与的欧式距离，m表示控制算法的柔性参数；

计算每一次迭代后的U矩阵，其中矩阵中每个元素满足：

其中，c为模糊组的中心的个数，u_ij表示索引为(i，j)的隶属度，m表示控制算法的柔性参数，d_ij＝||c_i-x_j||为第j个数据与第i个中心与的欧式距离，d_kj＝||c_k-x_j||为第j个数据与第k个中心与的欧式距离；

总体损失函数为：

其中，U为隶属度矩阵，c为模糊组的中心的个数，u_ij表示索引为(i，j)的隶属度，λ_j表示第索引为j的平衡系数，m表示控制算法的柔性参数，d_ij为第j个数据与第i个中心与的欧式距离；

步骤2.3：综合步骤2.1和步骤2.2算法，得到雾霾图像深度分割器；

步骤3：采集雾霾天气下用于测试的交通图像；

步骤4：采用步骤2中雾霾图像深度分割器对步骤3采集的交通图像进行分割，得到天空区域和非天空区域，求取天空区域和非天空区域的大气光值和透射率，对天空区域和非天空区域的大气光值进行加权平均，得到综合大气光值，再根据综合大气光值计算得到综合透射率；

步骤5：利用快速引导滤波对步骤4中的综合透射率细化处理，重构无雾交通场景图片。