[发明专利]对房产证图像进行结构化信息提取的方法

说明书

本发明提供了一种对带表格的图像进行结构化信息提取的方法。该方法包括：提取带表格的图像中的表格区域，对表格区域进行单元格分割；对单元格进行文本行检测和归类；对文本行进行单字分割并识别单字内容，拼接得到文本行内容，根据所述文本行的内容和所述表格区域的单元格分割结果得到所述带表格的图像中的结构化信息。本发明实施例的方法可以有效地提取出房产证图像等带表格的图像中的表格区域、文本行中的单字以及结构化信息。本发明可以帮助人们在进行二手房交易、房产证抵押、贷款买车、落户、适龄儿童入学、出国旅游办签证等行为时，实现自动化的业务流程。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种对带表格的图像进行结构化信息提取的方法。

背景技术

房产证在居民日常生活中发挥着重要的作用，大到二手房交易、房产证抵押、贷款买车、落户、适龄儿童入学，小到出国旅游办签证，房产证成为社会信用的证明之一。当进行房产证的抵押、贷款等相关活动时，需要收集证件上的相关信息进行备案。

在房屋的信息采集方面，传统的房产证复印、人工录入数据的方式，无法实现自动化的业务流程，因速度慢、耗时长、易出错等不足无法满足实际应用场景的需求。而通过OCR(Optical Character Recognition，光学字符识别)文本识别技术，快速采集录入证件信息，一键保存入库，替代传统手工录入方式，可以在很大程度上解决房产证件上的数据采集遇到的各种难题。

在深度学习方法出现之前，基于传统的人工标记特征是主要的OCR文字识别方法，其中包括基于连通区域以及基于HOG(Histogram of Oriented Gradient，方向梯度直方图)的检测框描述算法。随着硬件设备的更新换代，GPU(Graphics Processing Unit，图形处理器)的出现使得计算机可以处理大规模数据集，机器学习、深度学习等一系列新技术得到了飞速发展。在基于深度学习的方法中，目前比较成熟的OCR文本识别过程主要包括文本检测和文本识别两部分。

现有技术中的一种对图像进行文本检测的方法为：在图像中寻找包含文本的区域。这部分的算法实现大多数是基于候选区域的，一般先借助Faster R-CNN(Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks，更快的R-CNN：基于区域建议网络的实时目标检测方法)或者SSD(SSD:Single Shot MultiBoxDetector，单阶段多框检测器)得到许多个候选区域，然后训练模型对候选区域分类，最后做细致处理得到准确的文本区域。检测到了准确的文本区域之后，文本识别是指识别区域中的文本，文本识别可以先将文本分割成单字再识别，也可以采用序列识别的方式。

上述现有技术中的对图像进行文本检测的方法的缺点为：该方法只能进行全版面的文本检测，无法进行后续的文本结构化信息提取。

发明内容

本发明的实施例提供了一种对带表格的图像进行结构化信息提取的方法，以克服现有技术的问题。

为了实现上述目的，本发明采取了如下技术方案。

一种对带表格的图像进行结构化信息提取的方法，包括：

提取带表格的图像中的表格区域，对表格区域进行单元格分割；

对单元格进行文本行检测和归类；

对文本行进行单字分割并识别单字内容，拼接得到文本行内容，根据所述文本行内容和所述表格区域的单元格分割结果得到所述带表格的图像中的结构化信息。

优选地，所述的提取带表格的图像中的表格区域，包括：