[发明专利]一种思维导图图像识别和解析重构方法和装置

说明书

本申请公开了一种思维导图图像识别和解析重构方法和装置，所述方法包括：对思维导图图像的尺寸进行调整后进行切割得到图像块；生成文字区域二值掩码图，将分块生成的文字区域掩码图重新拼接为完整的文字区域二值掩码图；提取调整后思维导图对应区域的文字图像块，识别提取文字区域图像块中的文字信息和对应的位置关系；重新切割图像，根据检测到的线段信息，生成完整的线段二值掩码图，最终根据线段掩码图的二值轮廓更正线段信息；根据更正后线段相交情况，以及文字区域与线段之间位置、距离等关系确定文字区域节点与线段之间的匹配关系和不同文字区域节点之间的连接关系，并重构思维导图。本申请提升了思维导图素材生成和风格样式转换效率。

技术领域

本申请实施例涉及图像中的文本检测与识别技术，尤其涉及一种思维导图图像识别和解析重构方法和装置。

背景技术

思维导图是一种表达发散性思维的有效图形思维工具，其运用图文并重的技巧，把各级主题的关系用相互隶属与相关的层级图表现出来。思维导图因其形象生动、简单有效的优点而被广泛使用。近年来，市场上推出了大量的思维导图画图软件工具，并生产了海量的思维导图图文数据。不同软件工具之间生成的思维导图风格各异，以及缺少原始的结构化数据关系表示，生成的思维导图无法在这些软件之间进行高效的转换，只能以完全人工的方式进行转换。该现状导致人们常常以非常低效率的方式生成内容相似的思维导图，降低了思维导图的使用效率。

近年来，深度学习等人工智能技术快速发展，尤其是文字检测与识别、直线检测等技术取得了显著的进步。这些技术的突破为解析思维导图提供了基础。针对普通文档，现有的通用光学字符识别(OCR，Optical Character Recognition)工具已经可以非常高效地检测和识别图文中的中英文文字，如文字识别网络(CPTN，Connectionist Text ProposalNetwork)文字检测模型算法、端到端不定长文字识别(CRNN，Convolutional RecurrentNeural Network)文字识别模型算法。不同于普通文档，思维导图通常图像尺寸大，页面规格和文字格式不统一，具有典型的大图小字的特征。通用的文字检测和识别深度神经网络模型都会对图像进行归一化，一般对输入文本图像的尺寸和字体大小都会有一定的要求，偏离这些标准会导致检测识别准确率降低、计算量增大等问题。如果直接按照通用文字检测与识别方法，将思维导图图像缩放到统一规格后再输入深度神经网络，检测识别的准确率会非常低。这种现象主要是因为大尺度图像不仅会增加模型计算的内存和显存需求，而且经过缩放操作后文字的纹理信息会被严重破坏和丢失。

发明内容

有鉴于此，本申请实施例提供一种思维导图图像识别和解析重构方法和装置。

根据本申请的第一方面，提供一种思维导图图像识别和解析重构方法，包括：

对思维导图图像的尺寸大小进行调整，并对调整后的图像进行自适应切割分块，得到图像块；

检测所述图像块中的文字并生成相应的文字区域二值掩码图，基于所述调整后的图像的大小，将所述分块的文字区域二值掩码图重新拼接为完整的文字二值掩码图；

根据所述文字二值掩码图中的文字区域坐标提取调整后思维导图中对应位置的文字区域图像块，识别所述文字区域图像块中的文字信息和提取相应位置关系；

切割图像，检测所述图像块中的线段，根据图像所检测到的线段信息，生成完整的线段二值掩码图，基于所述线段二值掩码图中的二值轮廓重新更正线段；

确定所述最终更正后线段之间的相交情况，根据所述相交情况及位置关系，确定所述最终的线段与文字块节点的匹配关系和不同文字块节点之间的父子连接关系，根据所确定的文字块节点父子关系和位置信息重构思维导图，并在编辑画板进行布置和编辑。

作为一种实现方式，所述重构思维导图，包括：