[发明专利]文档的重复性识别方法、装置、电子设备以及存储介质

说明书

本申请涉及人工智能技术领域，公开了一种文档的重复性识别方法、装置、电子设备以及存储介质。提取目标文档的至少两个目标词语，并根据所述至少两个目标词语，构建所述目标文档的目标词语序列；其中，所述目标词语至少包括所述目标文档中的名词、动词和数量词；确定所述目标词语序列中每个字的独热编码向量；根据所述目标词语序列中每个字的独热编码向量，确定所述目标文档的特征向量；根据其他文档的特征向量与所述目标文档的特征向量之间的距离，确定所述目标文档的重复性。上述技术方案，在平衡文档查重的时间复杂度和空间复杂度的前提下提高了文档查询的准确率，为文档的重复性识别提供了一种新思路。

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及自然语言处理技术领域，具体涉及一种文档的重复性识别方法、装置、电子设备以及存储介质。

背景技术

随着互联网技术的发展，从互联网中可获取各行各业、各种各样的文档。例如，金融机构每天会从互联网接入大量的金融文档，包括市场快递，金融资讯，研究报告，政策解读，公告等，不同的数据来源有很多文档是相同或者相似的。如果不加以滤重，会涌入大量的重复文档或者相似的文档，大大的影响信息的准确传递，影响工作效率。因此，如何在大量的文档中，准确判断出重复的文档，并且兼顾执行的效率和精确度，尤为重要。

发明内容

本申请提供一种文档的重复性识别方法、装置、电子设备以及存储介质，以提高文档的查重准确率。

第一方面，本申请实施例提供了一种文档的重复性识别方法，包括：

提取目标文档的至少两个目标词语，并根据所述至少两个目标词语，构建所述目标文档的目标词语序列；其中，所述目标词语至少包括所述目标文档中的名词、动词和数量词；

确定所述目标词语序列中每个字的独热编码向量；

根据所述目标词语序列中每个字的独热编码向量，确定所述目标文档的特征向量；

根据其他文档的特征向量与所述目标文档的特征向量之间的距离，确定所述目标文档的重复性。

第二方面，本申请实施例还提供了一种文档的重复性识别装置，包括：

目标序列构建模块，用于提取目标文档的至少两个目标词语，并根据所述至少两个目标词语，构建所述目标文档的目标词语序列；其中，所述目标词至少包括所述目标文档中的名词、动词和数量词；

独热向量确定模块，用于确定所述目标词语序列中每个字的独热编码向量；

特征向量确定模块，用于根据所述目标词语序列中每个字的独热编码向量，确定所述目标文档的特征向量；

重复性确定模块，用于根据其他文档的特征向量与所述目标文档的目特征向量之间的距离，确定所述目标文档的重复性。

第三方面，本申请实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请任一实施例中所提供的文档的重复性识别方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请任一实施例中所提供的文档的重复性识别方法。