[发明专利]基于梯度先验知识和N-S方程的图像去雨方法

权利要求书

1.基于梯度先验知识和N-S方程的图像去雨方法，其特征在于，包括以下步骤：

⑴采集原始有雨图像，记为O；

⑵对原始有雨图像进行判断，区分为三种，第一种为静态背景或背景缓慢变化的视频，第二种为背景剧烈变化的视频，第三种为单帧图片；

⑶对于单帧图片，通过轻微左右平移制造出前后帧，平移的距离略大于雨滴的水平宽度，构建为一个背景缓慢变化的视频；

⑷对于背景剧烈变化的视频，取出每一帧进行处理，处理方式同步骤(3)，得到背景缓慢变化的视频；

⑸将步骤(2)(3)(4)获得的视频转为灰度视频，转换公式为Gray＝R*0.299+G*0.587+B*0.114；

⑹将步骤(5)中的灰度视频使用模型PriorDetectRain进行检测，输出含有雨的位置信息的二值图或者二值化的视频，记为Rb；

⑺将步骤(2)中获得的视频或图像片和步骤(6)中获得的二值化视频或二值图采用NSDerain模型对被雨所遮挡的部分进行修复，得到去雨后的图像B；

其中，步骤(3)所述将单帧图片转化为背景缓慢变化的视频的方法是，将图片通过左右轻微平移构造为一个包含三帧的背景几乎静止的视频，记为pan(O_k)，O_k代表着视频中的第k帧；这一处理记为f(O)，则

式中d₀为是判断视频为剧烈程度的参数，d(O)大于d₀，则视频O被判断为剧烈抖动的视频；

所述步骤(6)中，基于雨的稀疏性，所述检测雨的模型表示为，

分别代表在水平、竖直方向和时间上进行差分，||*||₁代表L1范数，||*||_F代表F范数；O，B，R分别表示含雨图像，干净的背景图像、雨分量；η,β,λ是与输入的视频维度相同的三维张量，分别表示背景、雨和噪声分量的系数；

对所述检测雨的模型使用分裂增强拉格朗日收缩算法进行求解，求解过程如下：

(a)、引入辅助变量U_i、V_i、和拉格朗日算子D_i，i＝1,2,3,4，式(3)改写为公式(4)

(b)、公式(4)所述的U_i用公式(5)表示

D1、D2、D3、D4是拉格朗日乘数算子；

(c)、公式(4)所述的V_i(i＝1,2,3,4)用公式(6)进行计算，

式中，sign()代表符号函数，*代表Hadamard积，竖线代表取绝对值，张量减去一个常数代表每个元素都减去该常数，矩阵除以一个常数代表每个位置都除以该常数；u_i为辅助计算的参数；

(d)、对于视频背景，ηB采用公式(7)进行计算

(e)、对于雨，βR采用公式(8)进行计算

式中，倒三角上的b代表使用后向差分，不加b代表使用前向差分；

(f)、拉格朗日算子D的计算方式为：

D₁＝V₁－U₁

D₂＝V₂－U₂

D₃＝V₃－U₃

D₄＝V₄－U₄

(g)、将得到的βR二值化，二值化后的二值图记为Rb；

将Rb中连通域小于minArea和连通域大于maxArea的区域判断为无雨的区域，将连通区域的长宽比小于ratio的连通域判断为无雨区域，并将这些区域的值设置为0，输出Rb；minArea表示一个雨滴最小占用多少个像素，其取值可以依据图像中雨滴的大小进行设置；maxArea表示图像中一个雨滴最多占多少个像素；ratio表示图像中雨滴的长宽比；

步骤(6)中所述PriorDetectRain算法的步骤如下：

①输入灰度视频O，最单个雨滴占用的最大像素maxArea，单个雨滴最小像素minArea，单个雨滴的长宽比；设置辅助计算参数u₁＝0.001，u₂＝0.03，u₃＝0.03，u4＝0.01，实际计算过程中使用类似比例的数据也可以；初始化ηB＝O，βR,D₁，D₂，D₃，D₄初始值设置为维度和O一样的全为0张量；最大执行次数maxStep＝100；

②根据公式(5)计算U

式中D₁、D₂、D₃、D₄是拉格朗日乘数算子；

③根据公式(6)计算V₁，V₂，V₃，V₄

式中，i的值取1,2,3,4，sign()代表符号函数，*代表Hadamard积，竖线代表取绝对值，张量减去一个常数代表每个元素都减去该常数，矩阵除以一个常数代表每个位置都除以该常数；

④根据公式(7)计算ηB

⑤根据公式(8)计算βR

式中，倒三角上的b代表使用后向差分，不加b代表使用前向差分；

⑥计算拉格朗日算子，D₁＝V₁－U₁，D₂＝V₂－U₂，D₃＝V₃－U₃，D₄＝V₄－U₄；

⑦重复②③④⑤⑥，当执行次数达到maxStep为止；

⑧将βR二值化，二值化的方式为灰度值大于0.01的值设置为1，小于0.01的设置为0，二值化后的二值图记为Rb；

⑨将Rb中连通域小于minArea和连通域大于maxArea的区域判断为无雨的区域，并将这些区域的值设置为0，输出Rb；

步骤(7)所述雨修复模型表示为

式中，u*代表求解出来的使方程最小的u值，u是待修复的像素，是哈密顿算子，Δ是拉普拉斯算子，w、h、t分表表示视频的宽、高，和时间上的维度；

将L(u)离散化，对于三维，L(u)离散后的形式为

对于每一个待修复的雨滴Cr逐个进行修复，先按连通域的大小进行排序，先修复较小的雨滴，再修复较大的雨滴；对于每个雨滴中的像素，先修复周围未被雨污染的像素较多的位置；

步骤(7)所述雨修复过程可步骤如下：

①输入待去雨的图像O，相邻像素的差值范围统计值I_d；输入步骤(6)输出的二值图Rb；

②对于每一个待修复的雨滴Cr逐个进行修复，先按连通域的大小进行排序，先修复较小的雨滴；

③对于雨滴Cr中的每一个像素的值u，计算其周围已知像素的个数，先修复周围已知像素较多的点；

④对于一个雨滴Cr中的每一个像素值u，求出一个u*，满足

并且|u*-u|I_d,然后使用计算得出的u*替换u；

⑤重复④中的步骤，直到一轮运算中大多数像素值在计算过程中都不发生改变或者重复次数大于I_d时,就停止对该雨滴区域的修复；

⑥输出修复之后的无雨的背景B。

2.根据权利要求1所述方法，其特征在于，步骤(2)中区分视频背景变化的剧烈程度的方法是，通过视频相邻帧的相同位置的像素的差值较大的像素占所有像素的比例进行判断。