[发明专利]一种基于爬虫和文本聚类分析的网络舆情分析系统

摘要

本发明公开了一种基于爬虫和文本聚类分析的网络舆情分析系统，采用网络爬虫和文本处理、兴趣点数据挖掘等相关技术，应用垂直化搜索思想，对采集的网页信息进行数据预处理，在用户兴趣模型的基础上，对网页信息进行个性化搜索；然后对检索出的网页文本数据进行分类、聚类和内容提取分析，最后形成兴趣点数据统计报告，并通过个性化搜索系统的软件界面将信息展示和推送给用户。总思路为以用户为中心，采用模块化设计思想，构建用户兴趣模型；在此基础上，深度融合网页文本数据挖掘、数据库索引等相关技术，建立基于主题爬虫和文本处理的个性化搜索系统。

主权项

一种基于爬虫和文本聚类分析的网络舆情分析系统，其特征在于，包括支撑层、数据层、服务层、功能层；所述的功能层包括网页信息采集模块、数据预处理模块、信息检索模块、检索信息分析模块、归档管理模块、兴趣点数据统计模块、系统管理模块；所述的网页信息采集模块利用网络爬虫技术抓取特定领域的网页信息，存储到本地数据库中，并根据指定的更新策略对网页信息进行更新；所述的数据预处理模块负责对采集到的网络文本数据进行标题、统一资源定位符、时间、网页内容等特征的提取；所述的信息检索模块负责对网页信息的全文检索和个性化检索，包括单个关键词和综合用户背景的个性化搜索；所述的网页信息分析与挖掘模块主要用于对网页信息的归类、文本聚类、倾向性分析、热点话题检测处理，并形成检索分析与挖掘研究报告；所述的归档管理模块用于对检索的重要信息进行归类整理，对重要的检索信息进行归档操作，便于后续的查询；所述的兴趣点数据统计模块负责对用户感兴趣的热点话题、专题报道、类别信息等进行时间、空间的统计；所述的系统管理模块提供用户管理、权限管理以及日志管理功能。