[发明专利]不良网站检测方法及设备

权利要求书

1.一种不良网页检测方法，其特征在于，包括：

对待检测网页进行分词处理，获取所述待检测网页的分词数据；

根据所述分词数据和预先获取的至少一个不良网页特征词，获取所述待检测网页的不良网页特征词；

根据与所述待检测网页的不良网页特征词对应的不良网页概率值，获取所述待检测网页的不良网页判定概率；

若所述不良网页判定概率大于第一预定阈值，则判定所述待检测网页为不良网页。

2.根据权利要求1所述不良网页检测方法，其特征在于，所述根据所述分词数据和预先获取的至少一个不良网页特征词，获取所述待检测网页的不良网页特征词的步骤之前，还包括：

获取不良网页特征词列表，所述不良网页特征词列表包括所述预先获取的不良网页特征词，以及分别与各预先获取的不良网页特征词对应的不良网页概率值；

相应地，所述根据所述分词数据和预先获取的至少一个不良网页特征词，获取所述待检测网页的不良网页特征词的步骤具体包括：

将所述分词数据与预先获取的不良网页特征词列表进行匹配，获取所述分词数据包括的不良网页特征词。

3.根据权利要求2所述不良网页检测方法，其特征在于，所述获取不良网页特征词列表的步骤具体包括：

获取不良网页样本集和正常网页样本集；

对所述正常网页样本集中各正常网页样本进行分词处理，获取各正常网页样本的分词数据，对所述各正常网页样本的分词数据进行词频-反文档频率统计，并根据所述词频-反文档频率的统计值获取预定数量的不良网页特征词；

对所述不良网页样本集中各不良网页样本进行分词处理，获取各不良网页样本的分词数据；

获取所述预定数量的不良网页特征词中，各不良网页特征词在所述正常网页样本的分词数据中出现的第一概率，以及在所述不良网页样本的分词数据中出现的第二概率，并根据所述第一概率和所述第二概率获取各不良网页特征词对应的不良网页概率值；

根据所述预定数量的不良网页特征词和与各不良网页特征词对应的所述不良网页概率值，生成所述不良网页特征词列表。

4.根据权利要求1-3任一所述不良网页检测方法，其特征在于，所述若所述不良网页判定概率大于第一预定阈值，则判定所述待检测网页为不良网页的步骤具体包括：

若所述不良网页判定概率大于第一预定阈值，获取各所述待检测网页的不良网页特征词的总字符长度与所述待检测网页的字符长度的比值；

若所述比值大于第二预定阈值，则判定所述待检测网页为不良网页。

5.根据权利要求4所述不良网页检测方法，其特征在于，所述若所述比值大于第二预定阈值，则判定所述待检测网页为不良网页具体包括：

若所述比值大于第二预定阈值，获取所述待检测网页的网页级别；

若所述网页级别不大于第三预定阈值，则判定所述待检测网页为不良网页。

6.一种不良网页检测设备，其特征在于，包括：

第一处理模块，用于对待检测网页进行分词处理，获取所述待检测网页的分词数据；

第二处理模块，用于根据所述分词数据和预先获取的至少一个不良网页特征词，获取所述待检测网页的不良网页特征词；

第三处理模块，用于根据与所述待检测网页的不良网页特征词对应的不良网页概率值，获取所述待检测网页的不良网页判定概率；

第四处理模块，用于若所述不良网页判定概率大于第一预定阈值，则判定所述待检测网页为不良网页。

7.根据权利要求6所述的不良网页检测设备，其特征在于，还包括：

第五处理模块，用于获取不良网页特征词列表，所述不良网页特征词列表包括所述预先获取的不良网页特征词，以及分别与各预先获取的不良网页特征词对应的不良网页概率值；

相应地，所述第二处理模块还用于将所述分词数据与预先获取的不良网页特征词列表进行匹配，获取所述分词数据包括的不良网页特征词。