[发明专利]一种深度解析PDF研报的方法

说明书

本发明公开了一种深度解析PDF研报的方法，涉及数据处理技术领域，其包括以下步骤：步骤S1.基本解析，读取PDF得到基础元素；所述基础元素包括字符元素、曲线元素、直线元素、图元素和矩形元素；各基础元素的空间范围都采用矩形范围描述，建立坐标轴，确定各基础元素矩形范围的坐标值；步骤S2.基本布局分析，将所有字符元素聚类成文本行，然后通过文本行聚类找到主文本块；步骤S3.复杂聚类分析，在主文本块中准确定位表格范围和曲线图范围；步骤S4.提炼主要文本内容，过滤掉主文本块中位于表格范围和曲线图范围的文本行后，对主文本块中剩余的文本行排序，即可得到主要文本内容。

技术领域

本发明涉及数据处理技术领域，具体来讲是一种深度解析PDF研报的方法。

背景技术

现有技术对研报的解析，普遍存在表格识别不准确的问题，复杂表格不规范，没有分隔线，解析难度极高；由于曲线图包含曲线图说明，图例，图等多个部分，解析复杂；表格和曲线图识别不准确直接导致主要文本内容提取界限错误，杂乱无章。

现有专利《基于目标检测的研报解析方法、装置、设备和存储介质》(专利申请号：202110380917.9)引入目标检测，对研报进行分目标处理，对于目标界限清晰,特征明显的研报处理效果有明显改善；但是研报布局很灵活，对于目标界限不清晰，目标特征不显著并且可能有变化的研报，可能处理错误。如果出现不能识别的目标，需要重新训练模型，过程比较繁琐。因此，亟需一种自动识别研报目标的方法来改善解析研报的准确度，提高解析效率。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种深度解析PDF研报的方法，利用研报中表格和曲线图稳定的特征做聚类分析，自动定位表格，曲线图的范围，表格和曲线图的精准定位保证了主要文本内容的有序性和准确性。

为达到以上目的，本发明采取的技术方案是：一种深度解析PDF研报的方法，其特征在于，包括以下步骤：

步骤S1.基本解析，读取PDF得到基础元素；所述基础元素包括字符元素、曲线元素、直线元素、图元素和矩形元素；各基础元素的空间范围都采用矩形范围描述，建立坐标轴，确定各基础元素矩形范围的坐标值(x₀,x₁,y₀,y₁)，其中，x₀表示横坐标最小值，x₁表示横坐标最大值，y₀表示纵坐标最小值，y₁表示纵坐标最大值；

步骤S2.基本布局分析，将所有字符元素聚类成文本行，然后通过文本行聚类找到主文本块；

步骤S3.复杂聚类分析，在主文本块中准确定位表格范围和曲线图范围；

步骤S4.提炼主要文本内容，过滤掉主文本块中位于表格范围和曲线图范围的文本行后，对主文本块中剩余的文本行排序，即可得到主要文本内容。

在上述技术方案的基础上，步骤S2中，字符元素聚类成文本行的流程为：

步骤S2101.选择两字符元素做聚类分析，满足聚类条件后，形成文本行，得到文本行对应矩形范围的坐标值；

步骤S2102.文本行与其他字符元素继续做聚类分析，不断扩大文本行范围；

步骤S2103.字符元素聚类结束后确定文本行的最终范围。

在上述技术方案的基础上，步骤S2中，文本行聚类成主文本块的流程为：

步骤S2201.对所有文本行按宽度排序，选择宽度最大的文本行作为主文本块的参考文本行；

步骤S2202.参考文本行和其它文本行做聚类分析，满足聚类条件后，形成主文本块，得到主文本块对应矩形范围的坐标值；

步骤S2203.主文本块继续和其它文本行做聚类分析，不断更新主文本块范围；