[发明专利]一种视频中的文本跟踪和多帧增强方法

权利要求书

1、一种视频中的文本跟踪和多帧增强方法，其特征在于：包括以下步骤：

(1)利用文本检测算法检测视频序列第i帧中出现的文本区域，记为文本图像f_i，将参考图像R_f设置为f_i，令C代表文本图像f_i多个副本的集合，将f_i添加到集合C中；

(2)跟踪文本图像f_i在相邻帧的位置，跟踪过程如下：

步骤2.1：利用Canny边缘算子提取参考图像R_f的边缘图EM；

步骤2.2：估算参考图像R_f在后续帧的出现区域，记为R′；

步骤2.3：利用Canny边缘算子提取R′的边缘图EM1；

步骤2.4：利用文本笔画形成的边缘具有边缘对的特点，删除边缘图EM和EM1中的背景对象形成的边缘；

步骤2.5：采用Chamfer 5-7-11距离变换将边缘图EM和EM1进行Hausdorff距离变换；

步骤2.6：计算R′和R_f之间的Hausdorff距离值v，如果v小于预先设定的阈值，R′中取得值v所在的区域f′就是参考图像R_f在相邻帧的匹配区域；如果v大于预先设定的阈值，完成文本跟踪过程；

步骤2.7：将参考图像R_f设置f′，将R_f添加到集合C中，转到步骤(2.1)，继续跟踪；

(3)利用最小像素搜索法，经由集合C中的多个文本图像，得到一个新的文本图像f，此时变换的背景已经被大大减弱消除；

(4)利用最小均方差的二值化方法，对文本图像f进行二值化操作，最终得到具有干净背景的文本二值化图像。

2、根据权利要求1所述的一种视频中的文本跟踪和多帧增强方法，其特征在于：所述步骤(2.4)的方法如下：

(1)计算文本图像每个像素点的梯度方向θ(x，y)，计算公式如下：

gxx=|∂R∂x|2+|∂G∂x|2+|∂B∂x|2gyy=|∂R∂y|2+|∂G∂y|2+|∂B∂y|2gxy=∂R∂x∂R∂y+∂G∂x∂G∂y+∂B∂x∂B∂yθ(x,y)=12arctan[2gxy/(gxx+gyy)]]>

(2)如果在相邻的距离[D_min，D_max]范围内出现梯度方向平行的两个像素，则认为这两个像素构成像素对，其中D_min和D_max的值由需要跟踪的文本字体的大小决定；

(3)令EM代表边缘集合，边缘对(p₁，p₂)集合记为E_p，则E_p对E的重构定义为R_E(EΘE_p)，E经由E_p重构后得到结果主要由文本边缘组成。

3、根据权利要求1所述的一种视频中的文本跟踪和多帧增强方法，其特征在于：所述步骤(2.2)的方法如下：

(1)假定视频的分辨率为R_H×R_V，R_V、R_H分别为垂直、水平分辨率，帧率s帧/秒，如果文本的出现时间为δt，那么当前文本在相邻帧垂直和水平方向上的偏移值：

δv=RVs×δt]]>δh=RHs×δt]]>

(2)设置δt的最小估计值，根据上述公式，在相邻帧得到文本的最大偏帧垂直偏移值和最大水平方向偏移值，如果当前文本区f_i的矩形面积为w×h，根据最大偏移值δv和δh，可以估计出参考图像R_f在相邻下一帧的匹配区域面积大小(w_i+2×δh)×(h_i+2×δv)。