[发明专利]基于移动互联网访问的文本内容分类方法

摘要

基于移动互联网访问的文本内容分类方法，属于海量的大数据处理和内容分类领域。本发明采用人工智能专家系统的方法，首先通过建立URL清洗的知识库，通过清洗推理机过滤掉不是访问者最终浏览到内容，即“垃圾”。然后，根据URL分类知识库和代表词分类知识库、以及相关推理机，将移动互联网访问的“有效”的内容进行分类。对URL清洗、URL内容分类和代表词内容分类三大知识库的更新，使系统变得越来聪明，不仅提高了内容分类的效率，更重要是提高了内容分类的覆盖面和准确程度。

主权项

一种基于移动互联网访问的文本内容分类方法，其特征在于，包括：如下步骤：（1）数据清洗：针对用户在移动互联网上的访问记录，根据“URL清洗知识库”，调用“URL清洗推理机”清洗访问记录中的“垃圾”页面内容，即不是用户最终浏览的“有效”内容；（2）已知内容分类：所述的已知内容是用户在移动互联网上浏览的内容已经纳入到“URL分类知识库”中的内容，其分类是在步骤（1）的基础上，根据“URL分类知识库”调用“URL分类推理机”进行的内容分类；（3）未知内容分类：未知内容是用户在移动互联网上浏览的内容未能纳入“URL分类知识库”知识库中的内容，其分类是在步骤（2）的基础上，爬取分类未成功的页面，并进行切词、过滤和去重，然后再根据“代表词分类知识库”，调用“代表词分类推理机”进行的内容分类。（4）知识更新：根据步骤（3）“代表词分类推理机”中生成的“垃圾URL特征数据”、“新增URL分类数据”和“新增代表词分类数据”三个中间文件，分别调用“URL清洗知识更新”引擎、“URL分类知识更新”引擎和“代表词分类知识更新”引擎进行更新，经人工确认后更新“URL清洗知识库”和“URL分类知识库”中的相应知识和规则，自动更新“代表词分类知识库”中的相应知识和规则。