[发明专利]基于动态贝叶斯模型的网页垃圾检测方法

权利要求书

1.一种基于动态贝叶斯模型的网页垃圾检测方法，其特征在于该方法分为三大部分：

一.日志分析

步骤11)收集网页点击日志；

步骤12)对日志内容进行分析，提取其中的用户身份标识号码、查询词、结果排名、是否被点击、网址等信息；

步骤13)按照每个查询词下所有的用户身份标识号码的个数进行降序排列，编号为0，1，2……；

步骤14)对于每个查询词，以其对应的网址编号和是否被点击建立会话文件，

二.采用期望最大化算法计算吸引度a_u和满意度s_u

步骤21)初始化吸引度a_u和满意度s_u；

步骤22)由条件独立性可推导出事件A_i，S_i的后验概率，

Q(Aij):=Σe∈{0,1}Σe′∈{0,1}Σs∈{0,1}αi(e)βi+1(e′)P(Ei+1=e′|Sij=s)P(Sij=s|Cij)P(Cij|Aij,Eij=e)P(Aij)Σe∈{0,1}αi(e)βi(e)]]>

公式7

Q(Sij):=Σe∈{0,1}Σe′∈{0,1}αi(e)βi+1(e′)P(Ei+1=e′|Sij)P(Sij|Cij)P(Cij|Ei=e)Σe∈{0,1}αi(e)βi(e)]]>

公式8

其中，α_i(e)，β_i(e′)表示前项后项公式；表示用户是否检查返回结果列表中第j个会话的第i个网址的摘要；变量表示用户是否点击返回结果列表中第j个会话的第i个网址；表示第j个会话的第i个网址的满意度的二值变量；表示第j个会话的第i个网址的吸引度的二值变量；表示满意的情况下点击与否的概率；表示点击情况下，满意与否的概率；表示在条件和下发生的条件概率；表示浏览摘要与否E_i＝e的情况下点击发生的概率；

步骤23)通过最大化后验概率更新吸引度a_u和满意度s_u

au=argmaxaΣj=1NΣi=1MI(dij=u)(Q(Aij=0)log(1-a)+Q(Aij=1)log(a))+P(a)]]>公式9

su=argmaxsΣj=1NΣi=1MI(dij=u)(Q(Sij=0)log(1-s)+Q(Sij=1)log(s))+P(s)]]>公式10

其中，表示第j个会话的第i个位置的网址；u表示网页地址；I为示性函数，即满足括号内的等式为1，不满足括号内的等式为0；P(a)和P(s)表示a和s的先验贝塔分布；a＝Ｐ(C_i＝1E_i＝1)，表示用户检查了第i个网址的摘要的条件下点击的概率；s＝P(S_i＝1|C_i＝1)，表示用户点击了第i个网址，阅读内容后满意的概率；

步骤24)以步骤23)得到的吸引度a_u和满意度s_u重复步骤22)、步骤23)；

步骤25)迭代20次后，对网页是否为作弊网页进行预测，即迭代后的吸引度a_u、满意度s_u大于等于选定的阈值为正常网页，小于选定的阈值为作弊网页；

三.进行验证

步骤31)让10个志愿者根据自己的判断在返回列表的网址中前10个网址找出作弊的网页，认为作弊的打分为1，不是作弊为-1，无法判断为0；得分最高的3个网页作为查询的作弊网页；

步骤32)通过提出的评价指标中的查准率、召全率、作弊度，来验证本发明提出的方法。