[发明专利]任意形状场景文字擦除方法、系统、设备与存储介质

权利要求书

1.一种任意形状场景文字擦除方法，其特征在于，包括：

构建级联若干擦除模块的网络结构，渐进式地对文字图像中文字区域进行擦除；

其中，第一级擦除模块输入原始图像，后一级擦除模块输入为前一级擦除模块输出的图像以及原始图像，结合原始图像对前一级擦除模块输出的图像进行优化；通过级联的擦除模块迭代的进行文字区域擦除操作，由最后一级擦除模块最终输出文字擦除后的图像。

2.根据权利要求1所述的一种任意形状场景文字擦除方法，其特征在于，所述网络结构中所有擦除模块的结构相同，且参数共享；

每一擦除模块均包括：主干网络、文字区域定位分支、背景区域重建分支及互补融合层；通过主干网络对输入图像进行特征提取，分别输入至文字区域定位分支和背景区域重建分支中；所述输入图像包括：原始图像，或者前一级擦除模块输出的图像以及原始图像；所述文字区域定位分支生成文字区域分割图，所述背景区域重建分支生成背景细节重建图像；所述文字区域分割图与背景细节重建图像一并输入至互补融合层，获得当前级擦除模块输出的图像。

3.根据权利要求2所述的一种任意形状场景文字擦除方法，其特征在于，所述主干网络包括依次连接的多个卷积层与多个残差模块；主干网络中最后一个卷积层、第二个残差模块、第三个残差模块以及最后一个残差提取的特征将输入至背景区域重建分支中；主干网络中第三个残差模块以及最后一个残差提取的特征将输入至文字区域定位分支中。

4.根据权利要求2或3所述的一种任意形状场景文字擦除方法，其特征在于，所述文字区域定位分支包括多个依次连接的卷积层，其输入为主干网络提取的两种层次的特征，第一种层次的特征为主干网络中间层输出，第二种层次为主干网络末尾层的输出；第二种层次的特征分为两个支路，第一个支路中，第二种层次的特征经过PSP模块进入第一个卷积层，第二个支路中第二种层次的特征与第二个卷积层输出级联后作为第三个卷积层的输入，第三个卷积层的输出与第一种层次的特征级联后，作为第四个卷积层的输入；

最后一个卷积层输出的特征被上采样到原始图像1/4大小，通过sigmoid操作后得到文字区域分割图，再通过双线性插值操作将文字区域分割图还原到原始图像大小。

5.根据权利要求2或3所述的一种任意形状场景文字擦除方法，其特征在于，所述背景区域重建分支包括依次设置的残差模块与多个卷积层，其输入为主干网络提取的四种层次的特征，四种层次的特征来自主干网络依次加深的卷积层或残差模块的输出；第四种层次的特征经残差模块与第一个卷积层后，再与第四种层次的特征级联作为第二个卷积层的输入，第二个卷积层、第三个卷积层、第四个卷积层的输出各自对应的与第三种层次的特征、第二种层次的特征、第一种层次的特征级联后作为下一个卷积层的输入；

训练阶段，设置了两个多尺度预测模块，各自连接倒数第一个与倒数第二个卷积层，用于预测多尺度的重建结果。

6.根据权利要求2所述的一种任意形状场景文字擦除方法，其特征在于，所述互补融合层的操作表示为：

其中，Mask^t为文字区域定位分支预测的文字区域分割图，I′^t为背景区域重建分支生成的背景细节重建图像，I_original为原始图像；t表示擦除模块的序号，t＝1，...，T，T网络结构中擦除模块的总数。