[发明专利]网页类型识别方法以及网页类型识别装置

权利要求书

1.一种网页类型识别方法，其特征在于，该网页类型识别方法包括步骤：

读取预先存储的所有网页地址及网页类型，并对所有网页地址进行解析以得到网页地址组成部分的集合；

按照预设的聚合方法将网页地址组成部分类同的网页地址聚合至一个组从而形成多个组；

判断每个组中网页的覆盖度和网页类型的准确率是否满足要求：若一个组中网页的数量小于等于第一阈值且熵小于第二阈值，则表示该组中网页的覆盖度和网页类型的准确率满足要求，反之，若一个组中网页的数量大于第一阈值且熵不小于第二阈值，则表示该组中网页的覆盖度和网页类型的准确率不满足要求，熵E＝sum(pi*log(pi))，i＝1,2…,n，n为该组中网页的数量，pi为该组中相同类型的网页出现的概率；

若判断结果为满足要求，则停止聚合以形成网页分类规则并将该网页分类规则存储至网页分类规则库中；

接收待测网页的网页地址，并对该网页地址进行解析以得到该网页地址的组成部分；

判断该待测网页地址的组成部分是否与网页分类规则相匹配；以及

若判断结果为相匹配，则根据该网页分类规则将该待测网页分类以得到该待测网页的网页类型，否则将该待测网页的网页地址发送至网页分类器中进行分类以得到该待测网页的网页类型。

2.如权利要求1所述的网页类型识别方法，其特征在于，在执行步骤若判断结果为相匹配后，还包括步骤：

存储该待测网页的网页地址及其网页类型。

3.如权利要求1所述的网页类型识别方法，其特征在于，在执行步骤接收待测网页的网页地址前，还包括步骤：

将网页样本进行训练而生成网页地址与网页类型的对应关系，并将该对应关系发送到该网页分类器中进行存储。

4.一种网页类型识别装置，其特征在于，该网页类型识别装置包括：

聚合单元，用于读取预先存储的所有网页地址及网页类型，并对所有网页地址进行解析以得到网页地址组成部分的集合，按照预设的聚合方法将网页地址组成部分类同的网页地址聚合至一个组从而形成多个组；

规则形成单元，用于判断每个组中网页的覆盖度和网页类型的准确率是否满足要求：判断每个组中网页的覆盖度和网页类型的准确率是否满足要求：若一个组中网页的数量小于等于第一阈值且熵小于第二阈值，则表示该组中网页的覆盖度和网页类型的准确率满足要求，反之，若一个组中网页的数量大于第一阈值且熵不小于第二阈值，则表示该组中网页的覆盖度和网页类型的准确率不满足要求，熵E＝sum(pi*log(pi))，i＝1,2…,n，n为该组中网页的数量，pi为该组中相同类型的网页出现的概率；若满足要求，则停止聚合形成网页分类规则并将该网页分类规则存储至网页分类规则库中；

解析单元，用于接收待测网页的网页地址，并对该网页地址进行解析以得到该网页地址的组成部分；以及

判断单元，用于判断该待测网页地址的组成部分是否与网页分类规则库中的网页分类规则相匹配，若判断结果为相匹配，则根据该网页分类规则将该待测网页分类，否则将该待测网页的网页地址发送至网页分类器中进行分类以得到该待测网页的网页类型。

5.如权利要求4所述的装置，其特征在于，还包括：

网页分类器生成单元，用于将网页样本进行训练而生成网页地址与网页类型的对应关系，并将该对应关系发送到该网页分类器中进行存储。

6.如权利要求4所述的装置，其特征在于，还包括：

存储单元，用于存储该待测网页的网页地址及其网页类型。