[发明专利]一种基于轮廓建模的自然场景视频文本检测方法及系统

权利要求书

1.一种基于轮廓建模的自然场景视频文本检测方法，其特征在于，包括：

视频帧读取与初始化：具体是对读取的视频帧进行尺度变换，并进行归一化操作得到输入图像帧；

提取图像帧信息：使用深度为50的ResNet网络提取输入图像帧的图像帧信息，并利用特征金字塔网络获得图像帧的多尺度信息；

文本区域信息预测：根据多尺度信息，预测相应尺度的文本轮廓置信度图与各像素点对应文本的傅里叶级数；

帧间文本信息融合：设定两个大小不同的阈值对相邻两帧预测的文本信息进行融合筛选得到增强后的文本信息，具体为：

设定两个大小不同的阈值β₁、β₂；

先对前一帧的文本轮廓置信度图cls_t-1与阈值β₁进行比较，筛选大于β₁的部分得到前帧有用的补充信息cls_t-1′，随后将筛选后的cls_t-1′和当前帧的文本轮廓置信度图cls_t融合以加强当前帧的预测效果，得到的融合文本信息图再使用阈值β₂进行比较，得到大于阈值β₂的有效部分作为最后的结果；

GPU加速后处理：在GPU上进行加速，通过傅里叶反变换建模文本轮廓，使用非极大值抑制筛除冗余的文本，得到最终的文本检测结果；

视频帧追踪：对相邻帧的文本检测结果，通过IOU值构建IOU矩阵，通过KM算法和匈牙利算法进行匹配追踪。

2.根据权利要求1所述的自然场景视频文本检测方法，其特征在于，所述文本区域信息预测，具体为：

图像帧信息利用特征金字塔网络获得图像帧的多尺度特征，将多尺度特征分别通过分类预测头和回归预测头得到文本区域信息，其中，分类预测头预测相应尺度下的文本区域TR和文本中心区域TCR，回归预测头预测相应尺度下的文本轮廓的傅里叶级数。

3.根据权利要求1所述的自然场景视频文本检测方法，其特征在于，所述视频帧追踪，具体为：

对于相邻图像帧中所预测的文本轮廓，使用匹配算法对其追踪，对前一时刻t-1图像帧中的轮廓和当前时刻t图像帧中的轮廓，两两计算IOU值构建IOU矩阵，通过IOU矩阵，使用KM算法进行匹配，如匹配成功，则该文本轮廓的追踪状态更新；若匹配失败，查看追踪状态，若达到最大追踪时长，将该文本轮廓删除，若未达到最大追踪时长，则保留该文本轮廓，更新该文本的追踪时长。

4.根据权利要求1所述的自然场景视频文本检测方法，其特征在于，各像素对应文本的傅里叶级数具体是将文本轮廓点序列抽象为傅里叶级数，包括：

使用一个实变量t∈[0，1]的复值函数f：R→C来表示任意文本闭合轮廓如下：

f(t)＝x(t)+iy(t)

i表示虚数单位，(x(t)，y(t))为特定时间t时的空间坐标，由于f是一个封闭的轮廓，f(t)＝f(t+1)，f(t)通过傅里叶反变换(IFT)重新表述为：

k∈Z表示频率，c_k是用来表征频率k的初始状态的复值傅里叶系数。

5.根据权利要求1所述的自然场景视频文本检测方法，其特征在于，所述文本轮廓置信度图由文本区域置信度和文本中心区域置信度相乘得到，其中文本的中心区域是由文本区域向内缩进文本平均字符高度的0.3倍距离得到。

6.根据权利要求1所述的自然场景视频文本检测方法，其特征在于，在网络训练前，按照文本实例样本的尺寸比例将文本实例划分为小、中、大三类，其中尺寸比例r由文本实例的横坐标最大差值dx和纵坐标最大差值dy中较大的值与图像高度h的比值决定：

r＝max(dx，dy)/h

小、中、大三类目标分别对应特征金字塔中的多尺度特征输出。

7.一种实现权利要求1-6任一项所述的自然场景视频文本检测方法的系统，其特征在于，包括

视频读取与初始化模块：用于对读取的视频帧进行尺度变换，并进行归一化操作得到输入图像帧；

提取图像帧模块：用于使用深度为50的ResNet网络提取输入图像帧的图像帧信息，并利用特征金字塔网络获得图像帧的多尺度特征；

文本区域信息预测模块：用于根据多尺度信息，预测相应尺度的文本轮廓置信度二值图与各像素对应文本的傅里叶级数；

帧间文本信息融合模块：用于设定两个大小不同的阈值对相邻两帧预测的文本信息进行融合筛选得到增强后的文本信息，选取置信度二值图大于阈值的像素点与预测的回归傅里叶级数运算；

GPU加速后处理模块：用于在GPU上进行加速，通过傅里叶反变换建模文本轮廓，使用非极大值抑制筛除冗余的文本，得到最终的文本检测结果；

视频帧追踪模块：用于对相邻帧的文本检测结果，通过IOU值构建IOU矩阵，通过KM算法和匈牙利算法进行匹配追踪。