[发明专利]基于超链接的主题预测算法

摘要

本发明公开了一种基于超链接的主题预测算法，与现有技术相比，本发明提出了超链接主题预测算法，主要思想是在网络爬虫爬取网页之前取出页面的超链接进行主题相关度判断，当相关度大于预设的阈值时才进行爬取。最后，通过实验比较表明，本文提出的超链接预测算法提高了爬虫的工作效率和检索系统的精准度。

主权项

一种基于超链接的主题预测算法，其特征在于：首先假设有网页集合S＝{1，2，…，N}，在此基础上做如下定义：矩阵H：网页之间链接图对应的链接矩阵；yn：网页n(n∈S)的内容权值(Authority)Zn：网页n(n∈S)的链接权值(Hub)；y＝(y1,...,yN)T：内容权值向量；z＝(z1,...,zN)T：链接权值向量；An：所有指向网页n的集合；Bn：所有被网页n指向的网页集合；具体算法步骤：(1)初始化内容权值向量y，使初始化链接权值向量z，使(2)进行第k步迭代的时候，网页n的内容权值yn由所有指向它的网页集An的Hub值组成，即其矩阵表达式为y＝HTz；(3)在步骤(2)中得到新的内容权值向量y后，网页n的Hub值Zn由它所引用的网页Bn的内容权值组成，即其矩阵表达式为z＝Hy；(4)对步骤(2)和(3)中计算的向量y和z进行单位化，使得按照以上四个步骤进行循环迭代，直到收敛结束；为了更深层次的分析HITS算法，将第k步迭代得到的内容向量和链接向量分别记作yk和zk，其中：yk=(y1k,y2k,...,yNk)T---(1)]]>Zk=(z1k,z2k,...,zNk)T---(2)]]>初始化为：y0=(1/N,1/N,...,1/N,)T---(3)]]>z0=(1/N,1/N,...,1/N,)T---(4)]]>根据算法步骤(2)、(3)和(4)，可以计算：yk＝φkψkHTHyk‑1,k＝2,3,.... (5)zk＝ψkφkHHTzk‑1,k＝1,2,.... (6)收敛后，得到内容向量和链接向量分别为：y,=1λ,HTHy,,z,=1λ,HHTz,---(7)]]>在式(7)中，内容向量y'是矩阵HTH的一个特征向量，链接向量z'是矩阵HHT的一个特征向量，因此为了确定内容向量和链接向量的存在和唯一性，下文对式中HTH和HHT进行分析。因为内容向量对应矩阵HTH，链接向量对应HHT，所以下文将HTH称作内容矩阵，将HHT称作链接矩阵。