[发明专利]一种相似文本检测方法、装置、电子设备及存储介质

权利要求书

1.一种相似文本检测方法，其特征在于，包括：

确定给定文本的文本指纹；

统计所述文本指纹中第一标识的总个数或者第二标识的总个数；

基于所述第一标识的总个数或者第二标识的总个数，以及设定海明距离阈值对待检测文本进行筛选，得到所述给定文本的可能相似文本集；

针对所述可能相似文本集中的每个待检测文本，基于文本指纹之间的海明距离确定所述给定文本的准相似文本。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一标识的总个数或者第二标识的总个数，以及设定海明距离阈值对待检测文本进行筛选，得到所述给定文本的可能相似文本集，包括：

从所述待检测文本中确定文本指纹中第一标识的总个数处于区间(N-M,N+M)的目标文本；

将所述目标文本确定为所述可能相似文本集；

其中，N表示所述第一标识的总个数，M表示设定海明距离阈值。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

在对所述待检测文本进行存储时，分别存储所述待检测文本的文本指纹以及文本指纹中第一标识的总个数或者第二标识的总个数。

4.根据权利要求1或2所述的方法，其特征在于，所述确定给定文本的文本指纹，包括：

基于Simhash算法计算给定文本的文本指纹。

5.根据权利要求1或2所述的方法，其特征在于，所述针对所述可能相似文本集中的每个待检测文本，基于文本指纹之间的海明距离确定所述给定文本的准相似文本，包括：

针对所述可能相似文本集中的每个待检测文本，计算当前待检测文本的文本指纹与所述给定文本的文本指纹之间的海明距离；

若所述海明距离小于设定海明距离阈值，则确定当前待检测文本为所述给定文本的准相似文本。

6.根据权利要求5所述的方法，其特征在于，所述计算当前待检测文本的文本指纹与所述给定文本的文本指纹之间的海明距离，包括：

对当前待检测文本的文本指纹与所述给定文本的文本指纹进行逐位比较，若在比较位两者取值不相同，则比较结果为第一标识，若在比较位两者取值相同，则比较结果为第二标识；

比较结果为第一标识的个数为当前待检测文本的文本指纹与所述给定文本的文本指纹之间的海明距离。

7.一种相似文本检测装置，其特征在于，包括：

确定模块，用于确定给定文本的文本指纹；

统计模块，用于统计所述文本指纹中第一标识的总个数或者第二标识的总个数；

筛选模块，用于基于所述第一标识的总个数或者第二标识的总个数，以及设定海明距离阈值对待检测文本进行筛选，得到所述给定文本的可能相似文本集；

检测模块，用于针对所述可能相似文本集中的每个待检测文本，基于文本指纹之间的海明距离确定所述给定文本的准相似文本。

8.根据权利要求7所述的装置，其特征在于，所述筛选模块用于：

从所述待检测文本中确定文本指纹中第一标识的总个数处于区间(N-M,N+M)的目标文本；

将所述目标文本确定为所述可能相似文本集；

其中，N表示所述第一标识的总个数，M表示设定海明距离阈值。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的相似文本检测方法。

10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一项所述的相似文本检测方法。