[发明专利]一种确定网站目录页的方法及装置

说明书

本发明提供了一种确定网站目录页的方法及装置，其中确定网站目录页的方法包括：A．获取目录页的锚文本词集合以及非目录页的锚文本词集合；B．利用所述目录页的锚文本词集合以及所述非目录页的锚文本词集合，确定当前页面属于目录页的可能性，并在所述可能性超过设定阈值时将当前页面确定为目录页。通过上述方式，本发明能够提高在网站中挖掘目录页时的召回率和准确率。

【技术领域】

本发明涉及数据挖掘技术，特别涉及一种确定网站目录页的方法及装置。

【背景技术】

随着互联网的发展，网站的规模越来越大，网站内包含了大量网页。一个结构良好的网站，其内部的网页通常以树型结构分布，树中的父节点页面，可以称之为目录页。

目录页是能够体现网站结构层次的网页，确定网站的目录页，不仅有利于对网站中的网页进行分类，从而提高网站管理的效率或者改进搜索引擎收录网页的质量，并且由于目录页一般具有导航作用，是网站包含的大量网页中重要性较高的网页，因此在搜索引擎计算互联网上的网页的权威性时，提取网站的目录页参与计算，可以使得互联网上的各网页得到更合理的权威性值。

现有技术在确定网站中的目录页时，通常仅通过页面的URL形式进行判断。例如一个URL以“/”结束，或者以“index.html”结束，就将该URL对应的页面作为目录页。采用这种方法在网站中挖掘目录页时召回率和准确率均比较低。

【发明内容】

本发明所要解决的技术问题是提供一种确定网站目录页的方法及装置，以提高在网站中挖掘目录页时的召回率和准确率。

本发明为解决技术问题而采用的技术方案是提供一种确定网站目录页的方法，其特征在于，所述方法包括：A．获取目录页的锚文本词集合以及非目录页的锚文本词集合；B．利用所述目录页的锚文本词集合以及所述非目录页的锚文本词集合，确定当前页面属于目录页的可能性，并在所述可能性超过设定阈值时将当前页面确定为目录页。

根据本发明之一优选实施例，所述步骤A包括：获取标注好的目录页样本及非目录页样本；从网站中提取所述目录页样本对应的锚文本，并对所述目录页样本对应的锚文本进行分词，得到目录页的锚文本词集合，以及，从网站中提取所述非目录页样本对应的锚文本，并对所述非目录页样本对应的锚文本进行分词，得到非目录页的锚文本词集合；统计目录页的锚文本词集合中每个词的词频，以及，统计非目录页的锚文本词集合中每个词的词频。

根据本发明之一优选实施例，所述步骤B包括：从网站中提取当前页面对应的锚文本；对提取的当前页面对应的锚文本进行分词；采用下列公式计算当前页面属于目录页的可能性：其中，P表示当前页面属于目录页的可能性，W_i表示当前页面对应的锚文本分词后的第i个锚文本词，f(W_i|W_i∈X)表示W_i在目录页的锚文本词集合X中的词频，f(W_i|W_i∈Y)表示W_i在非目录页的锚文本词集合Y中的词频，n表示当前页面对应的锚文本分词后的锚文本词总数。

根据本发明之一优选实施例，从网站中提取当前页面对应的锚文本的步骤包括：从网站中提取当前页面对应的所有锚文本。

根据本发明之一优选实施例，从网站中提取当前页面对应的锚文本的步骤包括：从网站中提取当前页面对应的锚文本中出现次数最多的锚文本。

本发明还提供了一种确定网站目录页的装置，其特征在于，所述装置包括：获取单元，用于获取目录页的锚文本词集合以及非目录页的锚文本词集合；确定单元，用于利用所述目录页的锚文本词集合以及所述非目录页的锚文本词集合，确定当前页面属于目录页的可能性；输出单元，用于在所述可能性超过设定阈值时将当前页面确定为目录页。