[发明专利]一种基于爬虫和文本聚类分析的网络舆情分析系统

权利要求书

1.一种基于爬虫和文本聚类分析的网络舆情分析系统，其特征在于，包括支撑层、数据层、服务层、功能层；

所述的功能层包括网页信息采集模块、数据预处理模块、信息检索模块、检索信息分析模块、归档管理模块、兴趣点数据统计模块、系统管理模块；

所述的网页信息采集模块利用网络爬虫技术抓取特定领域的网页信息，存储到本地数据库中，并根据指定的更新策略对网页信息进行更新；

所述的数据预处理模块负责对采集到的网络文本数据进行标题、统一资源定位符、时间、网页内容等特征的提取；

所述的信息检索模块负责对网页信息的全文检索和个性化检索，包括单个关键词和综合用户背景的个性化搜索；

所述的网页信息分析与挖掘模块主要用于对网页信息的归类、文本聚类、倾向性分析、热点话题检测处理，并形成检索分析与挖掘研究报告；

所述的归档管理模块用于对检索的重要信息进行归类整理，对重要的检索信息进行归档操作，便于后续的查询；

所述的兴趣点数据统计模块负责对用户感兴趣的热点话题、专题报道、类别信息等进行时间、空间的统计；

所述的系统管理模块提供用户管理、权限管理以及日志管理功能。