[发明专利]基于移动互联网访问的文本内容分类方法

权利要求书

1.一种基于移动互联网访问的文本内容分类方法，其特征在于，包括：如下步骤：

（1）数据清洗：针对用户在移动互联网上的访问记录，根据“URL清洗知识库”，调用“URL清洗推理机”清洗访问记录中的“垃圾”页面内容，即不是用户最终浏览的“有效”内容；

（2）已知内容分类：所述的已知内容是用户在移动互联网上浏览的内容已经纳入到“URL分类知识库”中的内容，其分类是在步骤（1）的基础上，根据“URL分类知识库”调用“URL分类推理机”进行的内容分类；

（3）未知内容分类：未知内容是用户在移动互联网上浏览的内容未能纳入“URL分类知识库”知识库中的内容，其分类是在步骤（2）的基础上，爬取分类未成功的页面，并进行切词、过滤和去重，然后再根据“代表词分类知识库”，调用“代表词分类推理机”进行的内容分类。

（4）知识更新：根据步骤（3）“代表词分类推理机”中生成的“垃圾URL特征数据”、“新增URL分类数据”和“新增代表词分类数据”三个中间文件，分别调用“URL清洗知识更新”引擎、“URL分类知识更新”引擎和“代表词分类知识更新”引擎进行更新，经人工确认后更新“URL清洗知识库”和“URL分类知识库”中的相应知识和规则，自动更新“代表词分类知识库”中的相应知识和规则。

2.如权利要求1所述的基于移动互联网访问的文本内容分类方法，其特征在于，所述步骤（1）中的“URL清洗推理机”，的清洗规则包括：

（1）格式验证：完整性验证，即访问记录的核心字段是否包括用户ID，URL格式，访问时间（包括日期YYYY-MM-DD和时间HH:MM:SS），只要不包括其中一个字段，即为数据不完整，则清洗掉该条记录；一致性验证是验证用户ID、URL和访问时间格式是否规范，若不规范，则清洗掉该条记录；

（2）“完全URL”垃圾清洗推理：从““URL清洗知识库””读取清洗知识，在完全URL特征的Hash散列表中，推理在原始的访问记录页面中是否存在完全链接信息“完全URL”为“垃圾”页面特征？若存在，执行步骤（7）推理。若不存在，则进行步骤（3）推理；

（3）“含一级域名”垃圾清洗推理；从原始URL中截取“一级域名”，构造为特征容器包装类TLDS，在“一级域名”特征的Hash散列表中，推理是否存在TLDS为“垃圾”页面的特征；若存在“一级域名”，则进行步骤（5）推理；若不存在，则执行步骤（4）推理；

（4）“不含一级域名”垃圾清洗推理：若不存在“一级域名”，则获取不含一级域名“垃圾”页面特征知识的List，在List中包括后缀、左侧、左右和包含四类匹配知识，按照知识特征的置信度降幂顺序进行匹配推理。若匹配成功，则执行步骤（7）推理。若匹配失败，则数据清洗结束；

（5）“完整域名”垃圾清洗推理：从原始URL中截取“完整域名”，构造为特征容器包装类DOMAIN，在完整域名特征的Hash散列表中，推理是否存在DOMAIN为“垃圾”页面的特征；若存在“完整域名”，则获取完整域名“垃圾”页面特征知识的List，在List中有右侧匹配知识和包含匹配知识，如果匹配成功，执行步骤（7）推理，如果匹配失败，执行步骤（6）推理；

（6）“不完整域名”垃圾清洗推理：若在Hash散列表中不存在“完整域名”，则获取不完整域名“垃圾”特征的知识List，在List中包括左侧、左右和包含三类匹配知识，按照“不完整域名”知识特征的置信度降幂顺序进行匹配推理。若匹配成功，则执行步骤（7）推理；若匹配失败，则执行步骤（4）推理；

（7）若清洗推理匹配成功，则对“URL清洗知识库”进行更新，同时在原始“移动互联网访问记录”中删除“垃圾”数据，数据清洗结束。