[发明专利]一种基于PLSA主题模型和EM算法确定网页元素主题的方法

权利要求书

1.一种基于PLSA主题模型和EM算法确定网页元素主题的方法，其特征在于，该方法包括以下步骤：

(1)选取待测网页的网页元素对应的主题，找出主题关键词集合和主题集合；

(2)对待测网页的网页元素进行预处理，生成元素-词的关系；

(3)根据获取到的所述主题集合，按照PLSA模型公式训练出主题-词矩阵以及网页元素-主题矩阵，

(4)采用改进的EM算法求解出网页元素中对应概率最大的主题，作为该网页元素的主题；

(5)当网页结构或元素属性改变而造成网页状态变化后，重新获取当前DOM，重新对当前网页内的网页元素的主题进行判定，并生成网页元素XPath定位器；

所述步骤(2)，具体包括：

(21)从待测网页的网页元素与主题相关联的属性值中筛选主题关键词集合中的关键词以及网页元素的主题关键词，该主题下的所有网页元素样本关键词组成的集合就是主题关键词集合；

(22)计算各个主题关键词的频率，具体为：待测网页的网页元素e中主题关键词w出现的频率表示为：

其中，n_w代表网页元素e中关键词w出现的次数，n_e代表网页元素e中全部关键词的出现次数；

所述步骤(3)具体包括：

(31)根据得到的主题关键词集合W，网页元素集合E，主题集合T，根据PLSA模型公式训练出主题-词P(w_j|t_k)和网页元素-主题P(t_k|e_i)；

(32)计算网页元素中的生成概率，如下式所示：

其中，P(e_i)为待测网页中某网页元素e_i的概率，P(w_j|t_k)为主题关键词w_j在给定的主题t_k中出现的概率，P(t_k|e_i)为主题t_k在给定的网页元素e_i中出现的概率；n为待测网页中主题的总数，P(t_k|e_i)和P(w_j|t_k)是未知量，故θ＝(P(w_j|t_k)，P(t_k|e_i))就是需要估计的参数值，并且使得最大化θ值；

所述改进的EM算法包括：

(41)计算Q函数：

其中，观测数据集合Ym＝(w_0i,w_1i)，若y_i来自额外的0，记w_0i＝1，否则w_0i＝0；同样的y_i若来自额外1，记w_1i＝1，否则w_1i＝0，这样就给出完全数据集，其中Y₀＝(y_i,X_i,Z_i)为观测数据，X和Z是协变量集合；β和γ₀,γ₁是回归系数，记表示在第t步迭代中参数θ估计的当前值；表示期望值的计算是在条件分布下算出的；分别表示数据中参数0、1和2所占总体数据的比例；

而且有：

(42)将观测数据集分为子集Y₀₁,Y₀₂，划分的规则：把每个观测随机的分到两个子集Y₀₁,Y₀₂的两者的任意一个中去；

(43)接下来在两个样本集Y₀₁,Y₀₂将Q函数极大化，利用条件极大化的办法实现；利用迭代方程得到：

具体的如下：

令则

同样的

重复(42)和(43)步，直到算法收敛得到全局最优解；

所述步骤(4)中，采用改进的EM算法求解出网页元素中对应概率最大的主题，具体包括：

(44)对θ进行迭代进行极大似然估计，如下式所示：

其中，n为迭代θ的次数，L为网页元素样本集的词分布的对数似然函数；

(45)主题-词P(w_j|t_k)的概率和等于1，网页元素-主题P(t_k|e_i)的概率和等于1：

(46)由于关键词之间相互独立，所以网页元素的词分布如下式所示：

故网页元素样本集的词分布的对数似然函数，如下式所示：

其中，n(e_i)代表网页元素e中全部关键词的出现次数，其有取值范围，每次取的值不同，会有一个编号来表示，M、N、K就是取值的最大值，n(e_i)就是从1取到这个最大值，n(w_j,e_i)表示词w_j在网页元素e_i中出现的次数、P(e_i,w_j)是词w_j在网页元素e_i中的词频率；

(47)接下来将网页元素样本集的词分布对数似然函数l(θ)代入式(7)中，通过条件极大化的方法对L(θ)函数极大化，得到在第k步迭代中参数θ随机部的估计当前值，也即是参数θ随机部的全局最优解；

(48)计算此时t的后验概率，利用贝叶斯公式，得到如下：

(49)将计算得到的t代入式(8)，求解相应的P(w_j|t_k)和P(t_k|e_i)

由于n(e_i)∝P(e_i)，简化公式(17)，由于式(15)得到参数θ随机部的全局最优解，接下来的计算max l(θ)就转化为一个优化问题；

对应的目标函数为：

约束条件为：

(410)采用拉格朗日乘数法，估算得到P(w_j|t_k)和P(t_k|e_i)；

(411)把P(w_j|t_k)和P(t_k|e_i)再代入公式(16)，循环迭代得到隐变量主题t的后验概率P(t_k|e_i,w_j)

其中，P(t_k|e_i)代表网页元素的主题分布，进而把网页元素e_i对应概率最大的主题t_k作为该网页元素的主题。

2.根据权利要求1所述的基于PLSA主题模型和EM算法确定网页元素主题的方法，其特征在于，所述步骤(1)中，找出主题关键词集合和主题集合包括：

使用网络爬虫技术模拟浏览器获取待测网页的源代码，再进行解析HTML代码，得到网页元素的主题关键词和主题集合，分别为主题集合：T＝{主题t₁，主题t₂…，主题t_n}，主题关键词：主题t₁：{关键词k₁₁，关键词_k12…，关键词_k1p}，主题t₂：{关键词k₂₁，关键词k₂₂…，关键词k_2q}，…，主题t_n：{关键词k_n1，关键词k_n2…，关键词k_nm}，其中，n为待测网页中主题的总数，p为主题t₁下的主题关键词的总数，q为主题t₂下的主题关键词的总数，m为主题t_n下的主题关键词的总数。