[发明专利]一种文档的去重方法、设备及可读介质

说明书

本说明书实施例公开了一种文档的去重方法、设备及可读介质，其方案是，采用特征工程策略从第一文档和第二文档中提取来自特征工程的特征；采用神经网络策略从第一文档和第二文档中提取来自神经网络的特征；根据来自特征工程的特征和来自神经网络的特征计算第一文档和第二文档的综合相似度；根据综合相似度确定第一文档与第二文档是否重复，其中，来自特征工程的特征和来自神经网络的特征均为用于表示第一文档和第二文档之间相似程度的特征。

技术领域

本申请涉及计算机技术领域，尤其涉及文档的去重方法、设备以及可读介质。

背景技术

随着互联网技术的快速发展，信息传播的速度和广度飞速上升，这也使得信息收集时，特别是在线爬取文档信息时，收集到重复信息的概率大大提高。为了去除重复信息，必须对收集到的文档信息进行去重处理。

对文档信息进行去重处理时可以采用神经网络模型进行去重处理，通过深度学习后判断收集到的文档之间的重复性，筛选出重复文档。由于去重处理中采用的是模型自适应地学习后提取文档的特征进行重复性判断，而模型在自适应学习过程中对语料归属领域的识别通常较为宽泛，对于一些特定类型的文档，例如识别粒度较细文档，去重效果不好，容易发生遗漏。

申请内容

本申请提供了一种文档的去重方法、设备以及可读介质，用于提高文档的去重效果，减少发生遗漏。

本申请实施例提供的文档的去重方法，其特征在于，包括：

采用特征工程策略从第一文档和第二文档中提取来自特征工程的特征；

采用神经网络策略从第一文档和第二文档中提取来自神经网络的特征；

根据来自特征工程的特征和来自神经网络的特征计算第一文档和第二文档的综合相似度；

根据综合相似度确定第一文档与第二文档是否重复，

其中，来自特征工程的特征和来自神经网络的特征均为用于表示第一文档和第二文档之间相似程度的特征。

优选地，所述的方法还包括：

计算文档集中待去重文档之间的文档对相似度；

根据文档对相似度获取待去重文档对，文档对相似度用于表示待去重文档对中待去重文档之间的相似程度，

待去重文档对包括第一文档和第二文档。

优选地，来自特征工程的特征包括第一特征和第二特征；

采用特征工程策略从第一文档和第二文档中提取来自特征工程的特征包括：

基于第一文档的语意、第二文档的语意以及第一文档与第二文档之间的距离获取第一特征，

基于分别与第一文档和所述第二文档相匹配的待去重文档对获取第二特征。

优选地，基于分别与第一文档和第二文档相匹配的待去重文档对获取第二特征包括：

将与第一文档相匹配的待去重文档对的数量、与第二文档相匹配的待去重文档对的数量，以及分别与第一文档和第二文档相匹配的待去重文档中重复的待去重文档的数量作为第二特征。

优选地，来自神经网络的特征包括第三特征和第四特征；

根据神经网络策略从第一文档和第二文档中提取来自神经网络的特征包括：

根据预先训练好的提取模型从第一文档和第二文档中获取第三特征和第四特征，

第三特征为用于表示第一文档和第二文档之间距离的特征，

第四特征为用于表示第一文档和第二文档之间相似度的特征。