[发明专利]一种可个性化定制的网页过滤方法

权利要求书

1.一种可个性化定制的网页过滤方法，其特征在于，包括步骤：

步骤1：系统使用web爬虫自动从互联网上爬取大量网页构建无标 签训练网页库并做预处理和特征提取，包括步骤：

步骤11：使用web爬虫技术从互联网上自动的爬取大量的网页作为 过滤系统的无标签训练网页库U，此大型无标签训练网页库是对实际互 联网网页分布的近似描述；

步骤12：对无标签训练网页库中的网页进行预处理：首先使用网页 解析器对网页源文件进行解析，提取网页中的文本；对网页文本中的中 文进行中文分词处理，得到以词为单位的网页文本；在网页中删除停词 和罕用词；

步骤13：对无标签训练网页库中的网页提取特征；在经过预处理的 网页文本中，统计词汇表中的每一个词在每一个网页中出现的次数；词 汇表是网页中可能出现的非停词和非罕用的所有词汇的集合；在特征提 取之后，每个网页表示为如下词袋(bag-of-word)向量：

D_i＝(t₁，t₂，…，t_nv)

其中，D_i是网页i的词袋向量表示，t_j是词汇表中第j个词汇在网 页i中出现的次数，nv是词汇表中词汇的数量；

步骤2：系统从用户获取用以表达对过滤系统的个性化需求的网页 实例，并对用户个性化实例网页做预处理和特征提取；

步骤3：基于用户个性化实例网页和无标签训练网页库特征，利用 半监督学习的方法挖掘用户兴趣类属性；

步骤4：提取用户兴趣类词汇表概率特征，并进行特征选择；

步骤5：基于特征选择之后的用户兴趣类词汇表特征构造贝叶斯分 类器，实现对目标网页的个性化过滤。

2.按照权利要求1所述的可个性化定制的网页过滤方法，其特征 在于，步骤2所述系统从用户获取用以表达对过滤系统的个性化需求的 用户个性化实例网页，并对用户个性化实例网页做预处理和特征提取， 包括步骤：

步骤21：系统从用户获取用以表达对过滤系统的个性化需求的用户 个性化实例网页，该集合记作L；用户个性化实例网页集合是用户自己 从实际的互联网中提取的若干网页，当中需要包含两类网页，一类是用 户希望被过滤的网页，另一类是用户希望正常浏览的网页；用户个性化 实例网页里的样本由用户根据自己的需求自行确定，以此达到对过滤系 统的个性化定制；

步骤22：用户个性化实例网页的预处理和特征提取。