[发明专利]一种新闻内容的查重方法、系统及装置

权利要求书

1.一种新闻内容的查重方法，其特征在于，包括：

对采集的新闻数据进行格式转换处理，将处理后的新闻数据转为List列表；

对得到的列表进行初步的去重处理，以降低列表中新闻数据的重复度；

将列表中有效数据写入数据库；

初步的去重处理用于去除完全相同或几乎完全相同的新闻数据；

对数据库中的新闻数据建立全文索引；

基于全文索引，从数据库中查找与目标新闻内容重复的新闻数据；

所述对数据库中的新闻数据建立全文索引，包括：

通过分词控制器确定数据库中的新闻数据对应的语句分词，将分词结果和权重一并存入数据库中；

所述基于全文索引，从数据库中查找与目标新闻内容重复的新闻数据，包括：

使用ES全文索引找出与目标新闻内容接近的若干条新闻数据作为候选；对若干条候选的新闻数据进行分词，得出每条候选的新闻数据的词表；利用N-Gram模型原理，确定目标新闻与每条候选的新闻数据的重复度；当重复度高于设定值时，判定新闻内容重复。

2.根据权利要求1所述的方法，其特征在于，所述对采集的新闻数据进行格式转换处理，包括：

使用json数据格式保存采集的新闻数据，每一行代表一条新闻数据；

逐行读取保存的新闻数据到dict字典中；

使用正则表达式对新闻数据进行处理，使得新闻数据的正文只保留下汉字和数字。

3.根据权利要求1所述的方法，其特征在于，所述对得到的列表进行初步的去重处理，包括：

使用set集合和list列表转换去重方法，或者set集合判断去重方法，或者遍历后判断赋给另一个list列表去重方法，对得到的列表进行初步的去重处理。

4.一种新闻内容的查重系统，其特征在于，包括：

预处理模块，用于对采集的新闻数据进行格式转换处理，将处理后的新闻数据转为List列表；对得到的列表进行初步的去重处理，以降低列表中新闻数据的重复度；将列表中有效数据写入数据库；初步的去重处理用于去除完全相同或几乎完全相同的新闻数据；

索引查重模块，用于对数据库中的新闻数据建立全文索引；基于全文索引，从数据库中查找与目标新闻内容重复的新闻数据；

所述对数据库中的新闻数据建立全文索引，包括：通过分词控制器确定数据库中的新闻数据对应的语句分词，将分词结果和权重一并存入数据库中；

所述全文索引，具体用于使用ES全文索引找出与目标新闻内容接近的若干条新闻数据作为候选；对若干条候选的新闻数据进行分词，得出每条候选的新闻数据的词表；利用N-Gram模型原理，确定目标新闻与每条候选的新闻数据的重复度；当重复度高于设定值时，判定新闻内容重复。

5.根据权利要求4所述的系统，其特征在于，

所述预处理模块包括：格式转换单元，用于使用json数据格式保存采集的新闻数据，每一行代表一条新闻数据；逐行读取保存的新闻数据到dict字典中；使用正则表达式对新闻数据进行处理，使得新闻数据的正文只保留下汉字和数字。

6.根据权利要求4所述的系统，其特征在于，

所述预处理模块包括：列表去重单元，用于使用set集合和list列表转换去重方法，或者set集合判断去重方法，或者遍历后判断赋给另一个list列表去重方法，对得到的列表进行初步的去重处理。

7.一种计算机设备，包括处理器和存储器，所述存储器中存储有程序，所述程序包括计算机执行指令，当所述计算机设备运行时，所述处理器执行所述存储器存储的所述计算机执行指令，以使所述计算机设备执行如权利要求1-3中任一项所述的新闻内容的查重方法。

8.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括计算机执行指令，所述计算机执行指令当被计算机设备执行时，使所述计算机设备执行如权利要求1-3中任一项所述的新闻内容的查重方法。