[发明专利]一种结合超分辨率重建的卫星序列影像运动目标检测方法

权利要求书

1.一种结合超分辨率重建的卫星序列影像运动目标检测方法，其特征在于，该方法包括以下步骤：

1)获取卫星序列影像，使用背景差分法对该卫星序列影像进行运动目标检测，得到前景影像组成的前景影像序列和背景影像组成的背景影像序列；具体步骤如下：

1-1)获取卫星序列影像，该卫星序列影像包含M帧影像；

1-2)选取初始背景影像，然后构建背景模型，利用时间窗划分卫星序列影像得到窗口影像序列，并利用窗口影像序列训练背景模型；具体步骤如下：

1-2-1)选取卫星序列影像的第1帧影像为初始背景影像；

1-2-2)设定时间窗的大小为N，滑动时间窗，将步骤1)得到的卫星序列影像划分为多个窗口影像序列；

1-2-3)采用单高斯背景模型法建立背景模型并作为当前背景模型，该模型为利用背景影像的统计特征构建的高斯分布函数，表达式为：

I(x,y)～N(μ(x,y),∑(x,y))

其中，I(x，y)代表背景影像，x和y分别代表行和列，N()代表高斯分布函数，μ(x，y)代表期望；∑(x,y)代表协方差；

1-2-4)从第1个窗口影像序列开始，将每个影像窗口序列依次输入当前背景模型，利用每次输入的窗口影像序列中的影像对当前背景模型进行训练并不断更新当前背景影像：当前背景模型输出该输入序列中每帧影像中每个像素点对应的概率值P(x,y,t)，表达式为：

其中，t代表帧号，t＝1,2,…,M；

然后，对P(x,y,t)进行判定：

若满足P(x,y,t)≤T_p，则将该像素点归为对应输入影像的背景点，反之将该像素点归为前景点，T_p为概率阈值；

对输入的窗口序列的每帧影像的所有像素点判定完毕后，所有判定为背景点的像素点组成该输入影像对应的当前背景影像，最终得到该输入窗口序列对应的当前背景影像序列；

然后，利用下式更新当前背景模型：

其中d(x,y,t)＝I(x,y,t)-μ(x,y,t-1)表示灰度差，α是代表更新速度；

将每帧影像通过所在窗口影像序列最后一次输入当前背景模型后得到的对应当前背景影像最终组成背景影像序列，该序列中每帧背景影像记为B_k，k＝1，2，3，...，M，B_k代表卫星序列影像中第k帧影像对应的背景影像；

1-3)利用背景差分法，从卫星序列影像中依次选取每帧影像，计算该选取的影像与对应背景影像之间的差分影像，对该差分影像通过阈值化处理，得到该选取的影像对应的包含运动目标的二值化的前景影像，所有前景影像组成卫星序列影像对应的前景影像序列，该序列中每帧背景影像记为A_k，k＝1，2，3，...，M，A_k代表卫星序列影像中第k帧影像对应的前景影像；

2)对步骤1)得到的前景影像序列中的每一帧前景影像A_k使用基于均方根误差的快速超分辨率重建算法进行超分辨率重建，获得对应的高分辨率的前景影像C_k；具体步骤如下：

2-1)对每帧前景影像A_k进行运动估计，得到该帧影像对应的运动参数向量M_LR-K；

2-2)根据重建倍数r对每帧A_k建立对应的高分辨率图像格网HR；

2-3)将步骤2-1)得到M_LR-K乘以重建倍数r再四舍五入至整像素，得到HR尺度下每帧A_k对应的的运动参数向量MP_HR-K；

2-4)将每帧A_k逐帧进行添零上采样得到该帧对应的与HR同尺度的影像LR_UP-k；

2-5)将LR_UP-k根据MP_HR-k在A_k对应的HR格网上对齐；

2-6)在每帧A_k对应的HR格网上逐像素开窗口计算得到该HR格网上的每个像素值，计算方法如下：

从每帧A_k对应的HR格网上任意选取一个待计算像素的位置，以该位置为窗口中心按照设定的窗口大小进行开窗计算，得到该窗口所有位置在对应LR_UP-k中对应位置像素与该窗口所有位置在A_k中对应位置像素的均方根误差；

若该均方根误差小于误差阈值，则以该窗口所有位置在LR_UP-k中对应位置的像素值的均值作为该HR格网选取的位置处的像素值；若该均方根误差大于等于指定误差阈值，则以该窗口所有位置在A_k中对应位置的像素值的中位数作为该HR格网选取位置处的像素值；

对每帧A_k对应的HR格网的所有位置计算像素完毕后，得到每帧A_k对应的高分辨率前景影像C_k；

3)对步骤1)得到的背景影像序列中每一帧背景影像B_k使用ESRGAN方法进行超分辨率重建，得到对应的高分辨率的背景影像D_k；具体步骤如下：

3-1)获取卫星影像数据集作为高分辨率的训练数据集；根据卫星序列影像降质特征，构建对应的低分辨率的训练数据集；

3-2)构建ESRGAN模型；

3-3)将步骤3-1)得到的高分辨率和低分辨率的训练数据集输入步骤3-2)建立的模型进行训练，得到训练完毕ESRGAN模型的权值文件；

3-4)使用步骤3-3)中训练得到的权值文件，重建步骤1)中得到的背景影像序列中的每帧背景影像B_K，获得对应的超分重建的高分辨率的背景影像D_k；

4)将每帧D_k作为对应卫星序列影像新的背景影像，利用背景差分法，计算卫星序列影像中每帧影像与对应的D_k之间的差分影像，获得对应的更新后的前景影像E_k，k＝1，2，3，...，M；

5)对步骤2)得到的每帧C_k和通过步骤4)得到的对应的每帧E_k逐像素进行影像融合，获得对应的更新后的前景影像G_K组成的前景影像序列；

6)对步骤5)得到的前景影像序列的每帧前景影像G_k使用多帧影像LK光流法配准，配准后影像相邻帧间做逐像素交集逻辑运算，获得该前景影像序列对应的二值掩膜图；

7)使用步骤6)获得的二值掩膜图对步骤5)得到的前景影像序列做矩阵乘法，得到卫星影像序列中每帧影像最终的运动目标检测结果H_k，k＝1，2，3，...，M。