[发明专利]一种基于分割的多尺度特征金字塔文本检测方法有效
申请号: | 202010138891.2 | 申请日: | 2020-03-03 |
公开(公告)号: | CN111461114B | 公开(公告)日: | 2023-05-02 |
发明(设计)人: | 高学;韩思怡 | 申请(专利权)人: | 华南理工大学;华南理工大学珠海现代产业创新研究院 |
主分类号: | G06V20/62 | 分类号: | G06V20/62;G06V30/146;G06V30/148;G06V30/18;G06V30/19;G06V10/82 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 王东东 |
地址: | 510640 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 分割 尺度 特征 金字塔 文本 检测 方法 | ||
1.一种基于分割的多尺度特征金字塔文本检测方法,其特征在于,包括如下:
获取数据;
构建金字塔特征提取模型,从获取数据中提取特征;
对输入数据进行采样,得到不同尺度的输入图像,然后分别输入金字塔特征提取模型,提取文本特征,再通过多尺度检测网络对不同尺度输入图像的文本特征进行融合,处理后得到特征图,并进行预测;
对预测的结果进行处理,得到文本区域的轮廓边界线;
网络训练损失函数定义为:
L=Lcls+αLker+βLreg
其中,α=0.5,β=0.25,Lcls和Lker分别是预测文本区域和文本中心核的分类损失;Lreg是预测x、y距离的回归损失;
文本区域和文本中心核的预测实际上是像素级文本/非文本的二分类任务,采用diceloss来监督文本区域和文本中心核的预测结果:
其中,Gcls、Pcls和Gker、Pker分别是文本区域和文本中心核的ground-truth和预测结果;
预测文本像素点分别在x、y方向上和文本中心核的距离是一个回归问题,采用SmoothL1损失函数进行计算:
其中,xk、和yk、分别是文本像素点在x、y方向上和文本中心核距离的ground-truth和预测结果。
2.根据权利要求1所述的多尺度特征金字塔文本检测方法,其特征在于,所述数据为文本检测数据集。
3.根据权利要求1所述的多尺度特征金字塔文本检测方法,其特征在于,所述构建金字塔特征提取模型,从获取数据中提取特征,具体为:
输入图像经过backbone的数层卷积操作提取特征,得到特征金字塔;
特征金字塔依次通过自顶向下和自底向上两条路径,将回向传递的高层语义信息和经过数层卷积操作被丢失的低层位置信息进行融合,对文本特征进行补充增强,得到这一阶段的最后特征。
4.根据权利要求3所述的多尺度特征金字塔文本检测方法,其特征在于,所述特征金字塔依次通过自顶向下和自底向上两条路径,将回向传递的高层语义信息和经过数层卷积操作被丢失的低层位置信息进行融合,对文本特征进行增强,得到这一阶段的最后特征,具体为:
在自顶向下路径中,首先对高层级的特征进行上采样,再通过横向连接获取同级的特征信息,最后进行融合,融合后的特征依次经过一个3*3的卷积核以及一个1*1的卷积核,得到原图大小1/4,1/8,1/16,1/32的特征图;
在自底向上路径中,首先对同一层级的特征即自顶向下路径增强生成进行上采样扩张,然后与低层级的特征进行像素相加,更好地保留低层位置信息,融合后的特征先后通过一个步长为2的3*3卷积核和一个1*1卷积核,进行卷积操作,得到这一阶段的最后特征。
5.根据权利要求1所述的多尺度特征金字塔文本检测方法,其特征在于,所述将不同尺度的图像分别输入金字塔特征提取模型,提取文本特征,再通过多尺度检测网络对不同尺度输入图像的文本特征进行融合,处理后得到特征图,并进行预测,具体为:
对输入图像进行下采样,得到不同尺度的输入图像A1,A2;
将不同尺度的输入图像A1,A2分别输入金字塔特征提取模型,提取到不同的特征FP1,FP2;
对小尺度输入图像得到的特征金字塔FP2中每一层级的特征分别进行上采样扩张,然后将特征金字塔FP1,FP2中同一层级的特征连接起来,作为特征金字塔FP中同一层级的输出特征,通过多尺度检测网络对不同尺度输入图像的特征进行融合,将融合的特征进行处理得到特征图,并进行预测。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南理工大学;华南理工大学珠海现代产业创新研究院,未经华南理工大学;华南理工大学珠海现代产业创新研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010138891.2/1.html,转载请声明来源钻瓜专利网。