[发明专利]一种面向电力行业的项目相似性对比方法

说明书

本发明公开了一种面向电力行业的项目相似性对比方法，该方法包括：将文本进行碎片化处理，统一格式并保存在数据库中；通过KBase数据库检索出与比对项目最相似的几篇文本；将相似文本分别与比对文本进行比较；将所有相似文本的比对结果进行分析，并按照比对顺序形成结果输出；对对比语句的相似度进行优化，该优化采用并行计算使用多个线程同时计算。所述方法通过将文本按照句子进行拆分，并进行分词达到文本表示最小粒度，之后根据电力主题词进行语义分析，并在数据库所有项目中查找相似文本标记输出；提高了申报项目查重比对的效率，减少了人力物力等资源的浪费。

技术领域

本发明涉及文本挖掘领域和计算机信息处理技术领域，尤其涉及一种面向电力行业的项目相似性对比方法。

背景技术

在电力行业中，每年各部门电力机构都会向电网申报项目，面对固定时间内大量项目需要进行审核的需求，目前电网采用人工审核。不仅需要根据遗忘的申报项目来排出相似项目，还要根据当前的社会发展新形势发现具有前沿性，创新性的申报项目。因此，对于审核人员来说，不仅需要记忆往年申请的项目来排除相似项目，还要根据当前社会的需求来发现有价值的项目。这种情况增加了审核人的工作量，耗费了大量精力。

面对上述情况，电力行业迫切需要一种项目相似性比对技术来解决当前的困难。当前技术领域所存在的相似性比对技术虽然能够解决电力行业的难题，但却对于硬件水平和软件技术要求过高，非技术行业很难提供这种硬件和软件的支持。其次由于电力行业申报项目的保密性，难以公开使用当前普遍的相似性比对技术。因此，电力行业迫切需要研发一种轻量级的项目相似性比对技术来解决当前行业所存在的问题。

发明内容

为解决上述技术问题，本发明的目的是提供一种面向电力行业的项目相似性对比方法。

本发明的目的通过以下的技术方案来实现：

一种面向电力行业的项目相似性对比方法，包括：

步骤10将文本进行碎片化处理，统一格式并保存在数据库中；

步骤20通过KBase数据库检索出与比对项目最相似的几篇文本；

步骤30将相似文本分别与比对文本进行比较；

步骤40将所有相似文本的比对结果进行分析，并按照比对顺序形成结果输出；

步骤50对对比语句的相似度进行优化，该优化采用并行计算使用多个线程同时计算。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

该方法通过将文本按照句子进行拆分，并进行分词达到文本表示最小粒度，之后根据电力主题词进行语义分析，并在数据库所有项目中查找相似文本标记输出；提高了申报项目查重比对的效率，减少了人力物力等资源的浪费。

附图说明

图1是面向电力行业的项目相似性对比技术流程图；

图2是碎片化后保存在数据库中的数据图；

图3是一对多查重结果展示图；

图4是一对一精确查重结果展示图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

如图1所示，是面向电力行业的项目相似性对比技术流程，包括以下步骤：

步骤10将文本进行碎片化处理，统一格式并保存在数据库中；

步骤20通过KBase数据库检索出与比对项目最相似的几篇文本；

KBase数据采用高阶指纹技术，能够快速查找出与原始文本相关度较大的文本，并粗略计算其相似度。