[发明专利]一种筛选网页上链接的方法和装置

权利要求书

1.一种筛选网页上链接的方法，其特征在于，包括：

从搜索任务网站的首页及部分相关页面中提取链接；

拆分所述链接为域名部分和相对路径部分；

以所述域名和搜索任务网站的域名相同的每个链接的相对路径为一行，组成一个链接矩阵；

将所述链接矩阵转换为数值矩阵；

通过智能算法，将所述数值矩阵的行按不同类别分组；

根据所述分组的行数目，提取与所述搜索任务网站相关链接的特征表达式，和/或过滤与所述搜索任务网站无关链接的特征表达式。

2.根据权利要求1所述的方法，其特征在于，所述智能算法为统计学的归纳算法、人工智能中的遗传算法、数据挖掘中的聚类算法中的一种。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

根据所述分组的行数目，判断分组所对应的链接是否为与所述搜索任务网站相关链接。

4.根据权利要求1或2所述的方法，其特征在于，通过智能算法，将所述数值矩阵的行按不同类别分组的步骤具体为：

格式化所述数值矩阵为模糊矩阵；

获取所述模糊矩阵各行之间的相似度；

根据所述相似度，将所述模糊矩阵的行分组。

5.一种筛选网页上链接的装置，其特征在于，包括：

链接提取模块，用于从搜索任务网站的首页及部分页面中提取链接；

链接拆分模块，用于拆分所述链接为域名部分和相对路径部分；

智能分析模块，用于对域名和搜索任务网站的域名相同的链接的相对路径进行智能分析；

链接特征筛选模块，与所述智能分析模块相连，包括：

组合模块，用于以所述域名和搜索任务网站的域名相同的每个链接的相对路径为一行，组成一个链接矩阵；

转换模块，用于将所述链接矩阵转换为数值矩阵；

分组模块，用于通过智能算法，将所述数值矩阵的行按不同类别分组；

筛选子模块，根据所述分组的行数目，判断分组所对应的链接是否为与所述搜索任务网站相关链接，提取与搜索任务网站相关链接的特征表达式，和/或过滤与搜索任务网站无关的链接的特征表达式。