[发明专利]基于人工智能的网页原创性识别方法、装置及存储介质

权利要求书

1.一种基于人工智能的网页原创性识别方法，其特征在于，包括：

分别对保存在数据库中的各网页进行句子提取；

根据提取出的句子生成句子级的原创查找词典；

根据所述原创查找词典，分别识别出从待识别的网页中提取出的各句子是否为原创句子；

根据识别结果确定出所述待识别的网页的原创性；

该方法进一步包括：对所述原创查找词典执行插入、删除或更新操作，其中，所述更新操作包括：依次执行所述删除操作和插入操作。

2.根据权利要求1所述的方法，其特征在于，

对网页进行句子提取包括：

获取所述网页的标题以及正文内容；

对所述正文内容进行句子切分，并分别计算切分出的每个句子的权值；

按照权值由大到小的顺序对切分出的各句子进行排序；

选出排序后处于前M位的句子，M为大于一的正整数，将选出的句子以及所述标题作为提取出的句子。

3.根据权利要求1所述的方法，其特征在于，

所述根据提取出的句子生成句子级的原创查找词典包括：

对提取出的句子进行去重处理，针对去重处理后的每个句子，分别生成一个倒排拉链表；

所述倒排拉链表中包括：句子签名以及入库时间，所述入库时间表示包含所述倒排拉链表对应的句子的网页中入库时间最早的网页的入库时间；

所述待识别的网页为保存在数据库中的网页，所述分别识别出从所述待识别的网页中提取出的各句子是否为原创句子包括：

针对从所述待识别的网页中提取出的每个句子，分别进行以下处理：

根据所述句子的句子签名确定出所述句子对应的倒排拉链表；

将所述待识别的网页的入库时间与所述对应的倒排拉链表中的入库时间进行比较，若所述待识别的网页的入库时间早于或等于所述对应的倒排拉链表中的入库时间，则确定所述句子为原创句子。

4.根据权利要求3所述的方法，其特征在于，

所述倒排拉链表中进一步包括：原创时间；

获取所述原创时间的方式包括：

确定出所述倒排拉链表对应的句子的邻近句子，所述邻近句子为与所述倒排拉链表对应的句子的句子签名之间的海明距离小于预定阈值的句子；

从包含所述邻近句子或所述倒排拉链表对应的句子的网页中选出入库时间最早的网页；

将选出的网页的入库时间作为所述原创时间；

所述待识别的网页为保存在数据库中的网页，所述分别识别出从所述待识别的网页中提取出的各句子是否为原创句子包括：

针对从所述待识别的网页中提取出的每个句子，分别进行以下处理：

根据所述句子的句子签名确定出所述句子对应的倒排拉链表；

将所述待识别的网页的入库时间与所述对应的倒排拉链表中的原创时间进行比较，若所述待识别的网页的入库时间早于或等于所述对应的倒排拉链表中的原创时间，则确定所述句子为原创句子。

5.根据权利要求4所述的方法，其特征在于，

所述根据识别结果确定出所述待识别的网页的原创性包括：

计算从所述待识别的网页中提取出的各句子的权值之和，得到第一相加结果；

计算从所述待识别的网页中提取出的各句子中的原创句子的权值之和，得到第二相加结果；

用所述第二相加结果除以所述第一相加结果，将得到的商作为所述待识别的网页的原创性评价结果。