[发明专利]基于深度学习的表格线检测方法、装置、终端、存储介质

说明书

本申请提供基于深度学习的表格线检测方法、装置、终端、存储介质，本发明将分割网络引入文本表格中线检测，对文本表格内的线条实现了端到端快速检测，在一定程度上解决噪声线条干扰等问题，适合大多数复杂或多样背景下的线条的端到端检测，提高检测的鲁棒性和泛化性；同时，由于引入竖直线和交点的类别，使得可以根据分割结果将整表中的小表格框起来，形成碎片化的图片，而且通过连通域的检测，进一步提升了分割网络中线条的检测结果的连续性。降低了整表的文字识别难度，提升了识别的准确率，在整表和复杂表格检测识别、通用ocr识别等方面有很好的实用性。

技术领域

本申请涉及图像处理技术领域，特别是涉及基于深度学习的表格线检测方法、装置、终端、存储介质。

背景技术

目前，许多自然场景下的线检测所使用到的方法种类众多，但一般分为基于特征描述的检测方法、基于模型的检测方法和基于深度学习的检测方法。

基于特征描述的方法主要是利用线的颜色灰度、纹理变化、几何特征等，运用诸如霍夫变换和卡尔曼滤波等检测线条；基于模型的检测方法主要是利用一些参数等属性建模出合适的数学模型，利用模型对于场景中的线条进行判别；基于深度学习的检测方法主要是利用训练学习线条特征的方式实现自动化快速检测。

一般而言，基于对大数据学习下深度学习技术能够对样本识别具有很好的鲁棒性，但目前仍存在下述不足：首先，有关深度学习的线检测应用主要集中在交通领域中车道线检测，对于用于文本表格类中的线检测方法较少；其次，基于opencv等传统图像处理方式对于线检测的方式单一，容易出现漏检、不连续等现象，无法实现语义理解。

申请内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供基于深度学习的表格线检测方法、装置、终端、存储介质，用于解决现有技术中尚无较好的检测表格类线条的技术问题。

为实现上述目的及其他相关目的，本申请的第一方面提供一种基于深度学习的表格线检测方法，其包括：对数据表格图像集进行图像预处理，以形成滤除了图像污染并计算了线条交点的位置数据的训练样本集；利用分割网络模型对所述训练样本集中的样本图像进行图像分割；在通过连通域检测算法检测图像分割结果合格的情况下，基于所述线条交点的位置数据分别提取表格的竖直线和水平线。

于本申请的第一方面的一些实施例中，所述对数据表格图像集进行图像预处理，包括：对数据表格图像集中的图像进行灰度阈值化，据以生成对应的灰度图像；对所述灰度图像进行边缘检测，据以生成对应的边缘二值图像；对所述边缘二值图像进行霍夫变换，据以计算两条或多条直线的交点的位置数据。

于本申请的第一方面的一些实施例中，所述利用分割网络模型对所述训练样本集中的样本图像进行图像分割，包括：将预处理后的数据表格图像中的线条和交点按照表格属性进行分类；利用PSPNet分割网络模型对各类图像进行训练分割，并基于MIOU值来衡量分割效果。

于本申请的第一方面的一些实施例中，所述方法包括：将预处理后的数据表格图像中的线条和交点按照表格属性分为水平直线类、竖直线类、交点类、或者背景类。

于本申请的第一方面的一些实施例中，所述方法包括：通过连通域检测算法检测图像分割结果是否合格；若合格，则基于所述线条交点的位置数据分别提取表格的竖直线和水平线；若不合格，则将分割结果不合格的数据表格图像加入训练样本集中，并重新利用分割网络模型对分割结果不合格的数据表格图像进行图像分割。

于本申请的第一方面的一些实施例中，所述方法包括：基于连通域检测算法检测图像分割结果是否满足线条的连续性要求；若满足线条的连续性要求，则确定为分割结果合格；若不满足线条的连续性要求，则在对图像进行图像膨胀和/或图像腐蚀操作后继续检测图像分割结果是否满足线条的连续性要求；若仍不满足线条的连续性要求，则确定为图像分割结果不合格。