[发明专利]数据去重标记码生成方法、系统、电子设备及存储介质

说明书

本发明公开了一种数据去重标记码生成方法、系统、电子设备及存储介质，该方法包括：根据招投标数据集得到每一个招投标数据的招标标题、招标内容、招标编号、招标单位名称和招标阶段类型；根据上述多维度的信息得到对应的标题特征、内容特征、编号特征、单位名称特征和阶段类型特征；根据标题特征、内容特征、编号特征、单位名称特征和阶段类型特征得到每一个招投标数据对应的数据编码；根据每一个招投标数据的标题特征、内容特征、编号特征和单位名称特征得到每一个招投标数据对应的组编码；根据数据编码和组编码得到每一个招投标数据对应的去重标记码。该方法通过去重标记码便可确定重复数据，无需进行相似度计算，提高了招投标数据的去重效率。

技术领域

本发明涉及数据处理中运用多维度文本特征进行去重的领域，具体涉及到一种数据去重标记码生成方法、系统、电子设备及存储介质。

背景技术

在大规模数据去重的方式中，较常使用的是使用TF-IDF余弦相似度通过查库计算的方式进行去重，在数据量过大的情况下计算耗时过长，对于大批量流式处理数据入库过慢；或者先通过simhash对文本进行编码，再进行相似度计算的方式进行去重，simhash在处理招投标这种半结构化数据时，由于文本较短、对整体文本的simhash编码特征少，非大段文本的特征形式处理不当导致去重效果较差，该方法也需要进行相似度计算，故也存在数据量过大的情况下计算耗时过长，对于大批量流式处理数据入库过慢的问题。

发明内容

有鉴于此，本发明实施例提供了一种数据去重标记码生成方法、系统、电子设备及存储介质，以解决现有技术中招投标数据去重效率低的缺点。

为此，本发明实施例提供了如下技术方案：

根据第一方面，本发明实施例提供了一种数据去重标记码生成方法，包括：获取招投标数据集，所述招投标数据集中包括多个采集到的招投标数据；根据招投标数据集得到每一个招投标数据的招标标题、招标内容、招标编号、招标单位名称和招标阶段类型；根据每一个招投标数据的招标标题得到每一个招投标数据对应的标题特征；根据每一个招投标数据的招标内容得到每一个招投标数据对应的内容特征；根据每一个招投标数据的招标编号得到每一个招投标数据对应的编号特征；根据每一个招投标数据的招标单位名称得到每一个招投标数据对应的单位名称特征；根据每一个招投标数据的招标阶段类型得到每一个招投标数据对应的阶段类型特征；根据每一个招投标数据的标题特征、内容特征、编号特征、单位名称特征和阶段类型特征得到每一个招投标数据对应的数据编码；根据每一个招投标数据的标题特征、内容特征、编号特征和单位名称特征得到每一个招投标数据对应的组编码；根据每一个招投标数据的数据编码和组编码得到每一个招投标数据对应的去重标记码。

可选地，根据每一个招投标数据的招标标题得到每一个招投标数据对应的标题特征的步骤中，包括：获取预设阶段类别字典；根据预设阶段类别字典分别去除每一个招投标数据的招标标题中的阶段类型词；对去除阶段类型词的招标标题进行分词，得到每一个招投标数据对应的标题分词；分别计算每一个招投标数据对应的标题分词中每一分词的TFIDF值；将TFIDF值高的第一预设数量的分词作为标题提取关键词；将标题提取关键词按照第一预设顺序进行排序，得到标题排序关键词，并将标题排序关键词作为每一个招投标数据对应的标题特征。

可选地，根据每一个招投标数据的招标内容得到每一个招投标数据对应的内容特征的步骤中，包括：分别对每一个招投标数据的招标内容进行分词，得到内容分词；根据预设停用词字典去除内容分词中的停用词；对去除停用词后的内容分词进行词频统计，将词频高的第二预设数量的内容分词作为第一内容关键词；对去除停用词后的内容分词进行词长度排序，将词长度高的第三预设数量的内容分词作为第二内容关键词；将第一内容关键词和第二内容关键词中共同出现的关键词作为内容提取关键词；将内容提取关键词按照第二预设顺序进行排序，得到内容排序关键词，并将内容排序关键词作为每一个招投标数据对应的内容特征。