[发明专利]一种相似文本检测方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种相似文本检测方法、装置、电子设备及存储介质，该方法包括：确定给定文本的文本指纹；统计所述文本指纹中第一标识的总个数或者第二标识的总个数；基于所述第一标识的总个数或者第二标识的总个数，以及设定海明距离阈值对待检测文本进行筛选，得到所述给定文本的可能相似文本集；针对所述可能相似文本集中的每个待检测文本，基于文本指纹之间的海明距离确定所述给定文本的准相似文本。本发明实施例的技术方案，实现了提高相似文本检测效率的目的。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种相似文本检测方法、装置、电子设备及存储介质。

背景技术

随着计算机对文本信息等自然语言处理应用的普及，人们对计算机的文本处理效率提出了更高的要求，例如，希望计算机能够从海量文本数据中快速且准确地查找到自己感兴趣的文本。

其中一种常用的相似文本检测方法为：首先将文本表示成文本指纹的形式，文本指纹通常为64位的数字串，然后计算两个文本指纹之间的海明距离，通过海明距离确定两个文本之间的相似度。

在实现本发明的过程中，发明人发现现有相似文本检测方法存在如下问题：

海明距离的计算需要逐位进行比较，如果文本数据库中待检测的文本数量很大，则计算量会比较大，难以保证检测效率。

发明内容

本发明实施例提供一种相似文本检测方法、装置、电子设备及存储介质，提高了相似文本的检测效率。

第一方面，本发明实施例提供了一种相似文本检测方法，该方法包括：

确定给定文本的文本指纹；

统计所述文本指纹中第一标识的总个数或者第二标识的总个数；

基于所述第一标识的总个数或者第二标识的总个数，以及设定海明距离阈值对待检测文本进行筛选，得到所述给定文本的可能相似文本集；

针对所述可能相似文本集中的每个待检测文本，基于文本指纹之间的海明距离确定所述给定文本的准相似文本。

第二方面，本发明实施例还提供了一种相似文本检测装置，该装置包括：

确定模块，用于确定给定文本的文本指纹；

统计模块，用于统计所述文本指纹中第一标识的总个数或者第二标识的总个数；

筛选模块，用于基于所述第一标识的总个数或者第二标识的总个数，以及设定海明距离阈值对待检测文本进行筛选，得到所述给定文本的可能相似文本集；

检测模块，用于针对所述可能相似文本集中的每个待检测文本，基于文本指纹之间的海明距离确定所述给定文本的准相似文本。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的相似文本检测方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的相似文本检测方法。

本发明实施例的技术方案，通过确定给定文本的文本指纹；统计所述文本指纹中第一标识的总个数或者第二标识的总个数；基于所述第一标识的总个数或者第二标识的总个数，以及设定海明距离阈值对待检测文本进行筛选，得到所述给定文本的可能相似文本集；针对所述可能相似文本集中的每个待检测文本，基于文本指纹之间的海明距离确定所述给定文本的准相似文本的技术手段，实现了提高相似文本检测效率的目的。