[发明专利]一种基于网络文本数据的水务舆情识别方法

说明书

本发明公开了一种基于网络文本数据的水务舆情识别方法，其步骤包括：1、与水务相关的网络文本数据的获取，2、与水务相关的网络文本数据的预处理，3、与水务相关的网络文本数据的分析以及水务舆情的关注点发现。本发明能根据网址的类型确定网页搜索策略，实现快速从海量网络数据中获取与水务相关的文本数据，并且结合主题分析发现水务舆情关注点，以实现水务舆情识别，从而能提高水务舆情识别的效率和准确性，并且其结果具有良好的可解释性。

技术领域

本发明涉及数据挖掘技术领域，特别是涉及一种基于网络文本数据的水务舆情识别方法。

背景技术

随着互联网的迅速发展和人们生活方式的不断变化，与各行各业相关的网络数据呈现爆炸式增长。因为这些网络数据大部分都与人有关，体现着社会舆论的导向，所以这些网络上的数据受到企业的高度重视，水务行业也是如此，如何从海量的网络数据中获取水务相关的网络文本以及从其中发现社会舆论的关注点，实现水务舆情的识别成为一大难题。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于网络文本数据的水务舆情识别方法，以期能解决水务舆情难识别的问题，快速从海量的网络数据中获取与水务相关的文本数据，并且能准确分析出水务网络文本的关注点，从而能提高水务舆情识别的效率和准确性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于网络文本数据的水务舆情识别方法的特点在于，包括以下步骤：

步骤1、与水务相关的网络文本数据的获取；

步骤1.1、根据网址类型，采用不同的网页搜索策略采集目标网页的网络文本数据：

若所述网址类型为供水集团官方网址，则采用广度优先策略；

若所述网址类型为政府门户网址，则采用深度优先策略；

若所述网址类型为网络社区或论坛网址，则根据所述目标网页的网络文本数据，获取发布与水务相关的话题、评论或留言的用户的类型，从而确定网页搜索策略；

若所述用户的类型为官方用户，则采用深度优先策略；

若所述用户的类型为个人用户，则采用深度优先策略和广度优先策略；

步骤1.2、根据所述目标网页的网络文本数据，获取所述网络文本数据所属第一话题的所有参与用户的等级；

若所属第一话题的参与用户的等级满足预设等级要求，则采集相应参与用户在所属第一话题下发表的全部网络文本数据；

步骤1.3、根据所述目标网页的网络文本数据，获取所述网络文本数据所属第二话题的所有参与用户的话题参与次数；

若所属第二话题的参与用户的话题参与次数超过预设参与次数阈值，则对相应参与用户在所属第二话题的生命周期内发布的网络文本数据进行采集；

步骤1.4、根据参与用户在所属第二话题的生命周期内发布的网络文本数据，获取所发布的网络文本数据所属第三话题的所有参与用户及其等级；

若所属第三话题的参与用户的等级满足预设等级要求，则采集相应参与用户在所属第三话题下发表的全部网络文本数据；

步骤2、与水务相关的网络文本数据的预处理；

步骤2.1、对与水务相关的网络文本数据进行分词处理，从而将文本转变为词向量；

步骤2.2、构建与水务相关的网络文本数据停用词表，用于对所述词向量进行去停用词处理，得到去停用词后的词向量；

步骤3、与水务相关的网络文本数据的分析以及水务舆情的发现；