[发明专利]一种基于爬虫和文本聚类分析的网络舆情分析系统

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种基于爬虫和文本聚类分析的网络舆情分析系统。

背景技术

现代科学技术每天都在改变着世界，影响着人们的生活和工作方式。尤其是近年来，移动互联网、大数据、云计算等新型技术的迅猛发展，人们在网络空间从事的活动范围不断扩大，微博、微信、微视等新的互联网应用模式出现，使得人们已经进入了大数据时代和信息消费时代，随着Web2.0技术的不断发展，涌现出各类基于社会关系和群体智慧特征的网络平台，如搜索引擎、博客、微信、微博、论坛等，互联网表现出了显著的社会化特征。人们可以通过多种网络平台获取视频、图像、文本、声音等多媒体资源，并进行传播、发布从中国互联网络信息中心的《中国互联网络发展状况统计报告》中看出,截止2014年6月，中国网民数量已达6.32亿，互联网普及率达46.9％，较2013年底提高了1.1个百分点。其中手机上网的网民比例占83.4％，相比2013年底上升了2.4个百分点，首次超越传统PC上网的比例(80.9％)。互联网的普及率呈现快速上升趋势，尤其是移动互联网的发展将带动整体互联网发展，网民生活已全面“网络化”。

互联网规模的不断扩大，随之而来的是网络信息资源的爆炸式增长，但面对互联网浩如烟海的信息资源，如何有效地快速获取自己所需或用户感兴趣的内容，真正使互联网上海量的网络信息资源得以充分利用，并推动信息消费，依然是一个急需解决的难题。通过深入分析互联网搜索相关技术，问题主要体现在以下几个方面：

1)信息获取的冗余程度较高。在日常工作生活中，不难发现同类信息或表述相同的网络新闻、资讯等信息在各大互联网站反复的出现。这种大量同类信息的重复出现，导致用户在获取所需精准信息的时间过长，进一步影响用户的体验心理。在信息化水平快速增长的今天，对精准信息快速准确的把握，才能有效充分利用信息的价值，促进信息消费。因此，帮助用户去除网络冗余信息，提高信息检索速度，获取精准信息，节约时间是一个需解决的问题。

2)信息获取的深度不够。互联网上的资源虽然非常丰富，获取信息的方式也多样化，但是，对于特定领域内的信息的获取，没有相关领域知识背景的人却非常困难，更难以获取其所需的精准信息。另外即便是获取了相关领域内的信息资源，一般大众也难以对该信息的有效性、精准性等进行识别，这些都在不同程度上影响了人们获取信息的深度。

3)信息获取的个性化程度不够。面对海量的互联网络信息资源，不同用户有着不同的搜索需求，用户偏好的不同，用户背景的不同以及对同一信息资源认识理解程度的不同，需要搜索引擎技术的不断创新，以提高搜索精准性，优化用户体验。当前，信息搜索服务较少考虑用户的偏好以及个性化需求，仅仅通过用户搜索的关键词对检索结果进行粗略的过滤。因此，如何快速有效的运用用户的偏好或个人兴趣和爱护来搜索用户所需的信息资源，使信息的搜索过程更加智能化，更加个性化，给用户以最精准、最符合其所需的信息是一个非常值得关注的问题，也是一个急需解决的问题。

4)信息获取的用户体验不够好。随着互联网络尤其是移动互联网的快速发展，各种应用分发平台、社交网站、微信微博等信息来源的多样化，仅依靠传统的搜索引擎无法对这些多样化的海量信息进行有效整合、分类、以及精准定位，制约了用户体验的上升，也影响了用户黏性。因此，如何创新应用分发模式、深度发展语义搜索、智能搜索、个性化搜索等相关技术，打破搜索APP之间的信息壁垒，提高用户体验水平，增强用户黏性，实现信息获取的智能化和个性化，是一个迫切需要解决的问题。因此，为了解决这种“信息丰富而知识匮乏”的问题，本发明深入分析互联网爬虫、文本挖掘以及兴趣点数据处理等相关技术，进而设计一个基于网络爬虫和文本处理的个性化搜索原型系统，目标是为用户提供有效且精准的个性化信息搜索或推送服务，最后基于该个性化搜索原型系统，以“网络舆情分析”为应用场景，来挖掘网络舆情趋势、破解网络反恐、及时发现网络不良言论等，更好地掌控正确社会舆论的前进导向，为当前国家复杂严峻的公共安全、社会稳定提供一定的技术参考。

发明内容

本发明的目的是提供一种基于爬虫和文本聚类分析的网络舆情分析系统。

本发明的目的可以通过以下技术方案实现：

一种基于爬虫和文本聚类分析的网络舆情分析系统，包括支撑层、数据层、服务层、功能层；

所述的功能层包括网页信息采集模块、数据预处理模块、信息检索模块、检索信息分析模块、归档管理模块、兴趣点数据统计模块、系统管理模块；