[发明专利]一种确定网站目录页的方法及装置

权利要求书

1.一种确定网站目录页的方法，其特征在于，所述方法包括：

A.获取目录页对应的锚文本词集合以及非目录页对应的锚文本词集合；

B.分别确定当前页面对应的锚文本词在所述目录页对应的锚文本词集合以及所述非目录页对应的锚文本词集合中的词频，基于所述词频确定当前页面属于目录页的可能性，并在所述可能性超过设定阈值时将当前页面确定为目录页。

2.根据权利要求1所述的方法，其特征在于，所述步骤A包括：

获取标注好的目录页样本及非目录页样本；

从网站中提取所述目录页样本对应的锚文本，并对所述目录页样本对应的锚文本进行分词，得到目录页的锚文本词集合，以及，从网站中提取所述非目录页样本对应的锚文本，并对所述非目录页样本对应的锚文本进行分词，得到非目录页的锚文本词集合；

统计目录页的锚文本词集合中每个词的词频，以及，统计非目录页的锚文本词集合中每个词的词频。

3.根据权利要求2所述的方法，其特征在于，所述步骤B包括：

从网站中提取当前页面对应的锚文本；

对提取的当前页面对应的锚文本进行分词，分别确定当前页面对应的锚文本词在所述目录页对应的锚文本词集合以及所述非目录页对应的锚文本词集合中的词频；

采用下列公式基于所述词频确定当前页面属于目录页的可能性：

其中，P表示当前页面属于目录页的可能性，W_i表示当前页面对应的锚文本分词后的第i个锚文本词，f(W_i|W_i∈X)表示W_i在目录页的锚文本词集合X中的词频，f(W_i|W_i∈Y)表示W_i在非目录页的锚文本词集合Y中的词频，n表示当前页面对应的锚文本分词后的锚文本词总数。

4.根据权利要求3所述的方法，其特征在于，从网站中提取当前页面对应的锚文本的步骤包括：

从网站中提取当前页面对应的所有锚文本。

5.根据权利要求3所述的方法，其特征在于，从网站中提取当前页面对应的锚文本的步骤包括：

从网站中提取当前页面对应的锚文本中出现次数最多的锚文本。

6.一种确定网站目录页的装置，其特征在于，所述装置包括：

获取单元，用于获取目录页的锚文本词集合以及非目录页的锚文本词集合；

确定单元，用于利用所述目录页的锚文本词集合以及所述非目录页的锚文本词集合，确定当前页面属于目录页的可能性；

输出单元，用于在所述可能性超过设定阈值时将当前页面确定为目录页。

7.根据权利要求6所述的装置，其特征在于，所述获取单元包括：

样本获取单元，用于获取标注好的目录页样本及非目录页样本；

集合获取单元，用于从网站中提取所述目录页样本对应的锚文本，并对所述目录页样本对应的锚文本进行分词，得到目录页的锚文本词集合，以及，从网站中提取所述非目录页样本对应的锚文本，并对所述非目录页样本对应的锚文本进行分词，得到非目录页的锚文本词集合；

统计单元，用于统计目录页的锚文本词集合中每个词的词频，以及，统计非目录页的锚文本词集合中每个词的词频。