[发明专利]一种基于文本信息抽取结果的去重方法、系统以及介质

说明书

本发明提供一种基于文本信息抽取结果的去重方法、系统以及介质，其中所述去重方法具体包括以下步骤：对公共资源交易信息所在网页进行结构化抽取，将抽取结果以文本数据记录形式存储在数据集中；根据预设多重分类规则对数据集中所有文本数据记录进行细分；基于标题和预设实体字段进行组内判重，当组内存在重复文本数据记录时，基于网站类型和实体字段对重复文本数据记录进行评分，并根据评分进行重复文本数据记录的合并。

技术领域

本发明涉及一种数据处理技术，具体的说，涉及了一种基于文本信息抽取结果的去重方法、系统及介质。

背景技术

应国家政策要求，凡符合《招标投标法》和相关部门或行业规定的项目，均要进行招投标公示公告。面对成千上万的招投标公告发布渠道，以及各式各样的数据发布形式(如文本、图片、PDF等)，在互联网上产生了海量的招投标公告数据。这些公告数据规范不统一，主要是一些非结构化、半结构化数据。并且目前全国各级和各地的招投标数据发布渠道不统一，数据格式混乱，导致对相关数据的管理十分困难，更缺乏对相关数据进一步分析的结构化数据支撑。

为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

发明内容

本发明的目的是针对现有技术的不足，从而提供了一种基于文本信息抽取结果的去重方法、系统及介质。

为了实现上述目的，本发明所采用的技术方案是：一种基于文本信息抽取结果的去重方法，具体包括以下步骤：

对公共资源交易信息所在网页进行结构化抽取，将抽取结果以文本数据记录形式存储在数据集中；

根据预设多重分类规则对数据集中所有文本数据记录进行细分；

基于标题和预设实体字段进行组内判重，当组内存在重复文本数据记录时，基于网站类型和实体字段对重复文本数据记录进行评分，并根据评分进行重复文本数据记录的合并。

基于上述，所述结构化抽取的具体步骤如下：

对公共资源交易信息所在网页进行预处理，统一网页的编码和内容格式，并去除网页中的噪音信息；

为公共资源交易信息生成交易类别标签和城市标签；

对公共资源交易信息进行段落划分， 并基于拆分后的段落并行进行表格解析、键值对解析、正则抽取和实体识别处理；

根据预设属性权重表分别对表格解析、键值对解析、正则抽取和实体识别的处理结果进行属性加权评分，选取属性加权评分最高的处理结果作为最佳处理结果；

对最佳处理结果进行度量转换，并与交易类别标签、城市标签一起作为结构化抽取结果。

基于上述，根据预设多重分类规则对数据集中所有文本数据记录进行细分的具体步骤如下：

根据交易类别标签对数据集中所有文本数据记录进行细分，每个交易类别标签对应一个类别分组；

针对每个类别分组，再进一步根据发布时间周期、城市标签、采购单元和代理机构进行细分，使得最终获得的每个分组内所有文本数据记录的类别标签、发布时间周期、城市标签、采购单位以及代理机构均一致。

基于上述，基于标题和预设实体字段进行组内判重具体包括以下步骤：

遍历每个分组，比对任意两个文本数据记录的标题是否相同以及比对预设实体字段的字段值是否相同，在标题和预设实体字段的字段值的相同个数大于预设个数时，将相应的文本数据记录作为重复文本数据记录输出。

基于上述，根据评分进行重复文本数据记录的合并具体步骤如下：选取评分最高的重复文本数据记录作为源文本数据记录，将其他重复文本数据记录作为辅助文本数据记录；比对源文本数据记录和辅助文本数据记录，将只存在于辅助文本数据记录的内容添加到源文本数据记录中，并删除辅助文本数据记录。

基于上述，在被判定为重复文本数据记录时，将当前的判断依据添加到重复文本数据记录中。