[发明专利]基于CART决策树的URL分类方法及装置

权利要求书

1.一种基于CART决策树的URL分类方法，其特征在于，包括：

根据统一资源定位符URL的预设特征以及各个所述预设特征的类别构建用于训练CART决策树的训练集；

根据各所述预设特征对所述训练集的分类能力确定所述CART决策树的每一节点的特征；

根据所述训练集和预设终止条件从所述CART决策树的根节点开始递归每一节点，以构建所述CART决策树；

利用构建的所述CART决策树对爬虫系统爬取的URL的特征进行分类，以根据所述分类的结果对所述爬取的URL进行分类；

所述根据各所述预设特征对所述训练集的分类能力确定所述CART决策树的每一节点的特征，包括：

根据各所述预设特征中基尼指数最小的特征确定所述CART决策树的每一节点的特征；

其中，所述URL的预设特征包括以下任意一项及其组合：

URL标题字符串、URL所在HTML标记区域、URL域名、URL虚拟目录字段、URL内链标识、URL外链标识；

相应地，所述预设特征的类别包括以下任意一项及其组合：

表示优先爬取的A类、表示一般爬取的B类以及表示不建议爬取的C类。

2.根据权利要求1所述的方法，其特征在于，所述预设终止条件包括：

节点的URL样本个数小于第一预设阈值；

样本集的基尼指数小于第二预设阈值，其中，所述样本集为所述训练集的一个子集。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用预设CART剪枝算法对构建的所述CART决策树进行剪枝。

4.一种基于CART决策树的URL分类装置，其特征在于，包括：

训练集构建单元，用于根据统一资源定位符URL的预设特征以及各个所述预设特征的类别构建用于训练CART决策树的训练集；

节点确定单元，用于根据各所述预设特征对所述训练集的分类能力确定所述CART决策树的每一节点的特征；

决策树构建单元，用于根据所述训练集和预设终止条件从所述CART决策树的根节点开始递归每一节点，以构建所述CART决策树；

URL分类单元，用于利用构建的所述CART决策树对爬虫系统爬取的URL的特征进行分类，以根据所述分类的结果对所述爬取的URL进行分类；

所述节点确定单元具体用于根据各所述预设特征中基尼指数最小的特征确定所述CART决策树的每一节点的特征；

其中，所述URL的预设特征包括以下任意一项及其组合：

URL标题字符串、URL所在HTML标记区域、URL域名、URL虚拟目录字段、URL内链标识、URL外链标识；

相应地，所述预设特征的类别包括以下任意一项及其组合：

表示优先爬取的A类、表示一般爬取的B类以及表示不建议爬取的C类。

5.根据权利要求4所述的装置，其特征在于，所述预设终止条件包括：

节点的URL样本个数小于第一预设阈值；

样本集的基尼指数小于第二预设阈值，其中，所述样本集为所述训练集的一个子集。

6.根据权利要求4所述的装置，其特征在于，所述装置还包括：

剪枝单元，用于采用预设CART剪枝算法对构建的所述CART决策树进行剪枝。