[发明专利]一种舆情分析系统

说明书

本发明公开了一种舆情分析系统,涉及网站用户评论语义分析技术领域，包括数据收集模块、数据解析模块、数据存储模块、数据分析模块和数据展示模块，数据收集模块用于获取网站页面HTML数据；数据解析模块用于解析数据收集模块获取的网站页面HTML数据；数据存储模块用于存储数据解析模块解析得到的数据；本发明的有益效果为：该系统可以更加直观的展现出用户对产品、事件的情感，根据用户评论的情绪及云图展示出用户关注点，对产品进行及时的改善以及对事件发展的方向进行及时的调控，从而降低了分析时间以及人工成本，并提高实际的工作效率，而且收集数据的及时性好，且数据分析全面彻底。

技术领域

本发明涉及网站用户评论语义分析技术领域，具体为一种舆情分析系统。

背景技术

随着互联网技术以及国民经济的不断发展，参与互联网社交的人数日益增长，孕育出越来越多的社交平台，使得互联网中的“网民声音”与日俱增。这些“网民声音”在互联网发展中，慢慢形成网络舆情，这些舆情对事物影响及事件的发展都有着重要的意义。所以，为了更好的改进事件及发展事件，对舆情的语义分析也成为互联网大数据分析的主流。

在消费品行业，品牌商会在各大社交平台进行新品发布、活动预热。当经过一段时间后，需要对用户的反馈信息进行收集，来分析用户对新品及活动的情绪。

品牌商通常会安排运营人员，去各个平台收集用户言论数据，收集方式通常都是人工浏览社交平台下的数据，将其统计到Excel中，并逐一人工分析用户的对新品及活动的情绪。

现有技术存在的不足之处在于：首先，通过人工搜集用户言论数据，效率地下，且增加了分析时间、人工成本；其次，社交平台种类繁多，人工收集往往不够及时，且会漏统计，导致数据分析不全面；还有，用户言论数据收集后，只能简单分析用户对产品的情绪，无法直观的展示收集的数据。

发明内容

针对背景技术中提出的现有技术的问题，本发明提供了一种舆情分析系统，解决了上述背景技术中提出的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种舆情分析系统，包括：

数据收集模块，用于获取网站页面HTML数据；

数据解析模块，用于解析数据收集模块获取的网站页面HTML数据；

数据存储模块，用于存储数据解析模块解析得到的数据；

数据分析模块，用于对数据存储模块中存在的数据进行分析；以及数据展示模块，用于进行用户评论汇总展示、云图展示等工作。

优选的，所述数据收集模块包括开源包requests，该开源包requests用于HTTP请求，以获取网站页面数据。

优选的，所述数据解析模块包括：

开源爬虫框架Scrapy，所述开源爬虫框架Scrapy用于抓取web站点并从页面中提取结构化的数据；

开源包fontTools.ttLib，所述开源包fontTools.ttLib用于对网站页面编码字体进行解码；

开源包lxml，用于获取网页中的标签内容；

开源包os，用于对文件的操作，例如读取Azure相关配置；以及

开源包json，用于对Json字符串的序列化、反序列化。

利用开源爬虫框架Scrapy7，进行模拟点击下一页操作，在请求过程中，如果请求次数过于频繁会导致请求IP被禁止访问，所以需要增加代理服务，在Scrapy框架的setting.py文件中设置UserAgent及IP代理PROXIES，在中间件middlewares.py文件中调用设置的代理数据，解决了人工收集数据效率低、成本高的问题。