[发明专利]一种版面信息识别的方法及装置

说明书

技术领域

本发明涉及数字文档处理技术领域，尤其涉及数字文档中版面信息的识别，其中，包括图注的识别、图像与图注的关联关系的识别和利用识别的图像与图注的关联关系来改进阅读顺序的识别效果。

背景技术

近年来，数字文档结构抽取技术已成为数字文档分析与理解领域的研究热点，它包含布局结构抽取和逻辑结构抽取两方面。其中，布局结构抽取主要目的是将文档版面划分成块，一般用树状结构来表示块之间的布局关系，该方向的研究已较为成熟；而现有的逻辑结构抽取技术主要限于将布局分析得到的分块赋予不同的逻辑含义，例如章节、标题、段落、作者及单位、脚注、图表、页码等，从而得到逻辑部件。

但是，对于逻辑部件之间的关系，例如，图像与图注的关联关系、版面阅读顺序识别等，研究相对较少。而逻辑部件之间的关系对于版面信息的正确识别具有重要的意义，比如，图像与图注的关联关系的识别，不但能够用于提高版面阅读顺序的识别效果，而且对于图像检索等研究也有重要意义。

当前的图像与图注的关联识别研究，主要采用距离靠近原则，并且多依赖图注通常位于图像正上方或正下方并且居中的特征，选取距离图像最近的图注为其标题，例如可参见“Logical StructureAnalysis of Book Document Images Using Contents Information”，Proceedings of International Conference on Document Analysisand Recognition，1997。这种方法的缺点在于，当页面上含有多个图像时，特别是随着数字文档版面布局的多样化，图像与图注的空间布局变得越来越复杂，按照距离靠近原则选取图像的图注容易导致匹配错乱，也就是说，仅靠单个图像与图注的距离和样式，很难正确地确定复杂版面中多个图像与图注的关联关系。

发明内容

为了解决以上问题，本发明提供一种版面信息识别的方法及装置，其中，包括图注的识别、图像与图注的关联关系的识别和利用识别的图像与图注的关联关系来改进阅读顺序的识别效果。通过这种方法，可正确地识别复杂版面中逻辑元素图注以及图像与图注的关联关系，并可利用识别出来的图像与图注的关联关系来改进复杂版面中阅读顺序的识别效果。

为了实现以上目的，本发明提供一种识别图注的方法，包括以下步骤：读取待识别版面，分离该版面中的字符文本对象与图像对象，并将字符文本对象合并成文本块，将图像对象保留为图像块；从合并的文本块中识别出图注文本块。其中，根据文档布局结构分析方法和/或根据数字文档中的数据对象类型来分离字符文本对象与图像对象；根据以下中的至少一种来识别图注文本块：文本块的字体属性、文本块与图像块的距离、文本块的字数、文本块是否符合图注的表现形式。

本发明提供一种识别图像和图注的关联关系的方法，包括以下步骤：利用上述识别图注的方法来识别图注文本块和图像块；利用优化方法对图像块和图注文本块进行最优匹配，从而获得相关联的图像块与图注文本块。其中，优选地，利用优化方法使实现最优匹配的图像块和图注文本块之间的距离之和最小，更优选地，可采用二分图最优匹配方法来匹配图像块与图注文本块。

本发明提供一种改进版面阅读顺序的识别效果的方法，包括以下步骤：利用上述识别图像与图注的关联关系的方法来识别图像块与图注文本块之间的匹配关系；从版面的文本块中去掉图注文本块，并识别其余文本块和图像块的阅读顺序；在阅读顺序中将图注文本块插回到相匹配的图像块之后。

为了实现以上方法，本发明提供一种版面信息识别装置，包括：读取单元、图注识别单元、匹配单元、阅读顺序改进单元和输出单元，其中，输出单元可根据实际需要分别输出阅读顺序、图像块与图注文本块的关联关系、识别的图注文本块、按照识别的阅读顺序排列的文本块和图像块。这些单元的具体操作与上述方法中的相应步骤相同。

本发明将版面上的全部图像和图注综合考虑，通过最优匹配方法获得图像与图注的全局最优匹配，不受图像与图注数目以及它们之间空间样式的限制，能够从全局上找到最优的关联关系。同时，通过图像与图注的全局最优匹配，能够很大程度上改进现有的版面阅读顺序识别效果。

附图说明

图1是根据本发明构造的带权二分图构造的示意图；

图2是根据本发明的版面信息识别装置的示意性框图；

图3是第一实施例中的示意性页面；

图4是第一实施例中的识别方法的流程图；

图5是第一实施例中图注识别方法的流程图；