[发明专利]一种基于网络文本数据的水务舆情识别方法

权利要求书

1.一种基于网络文本数据的水务舆情识别方法，其特征在于，包括以下步骤：

步骤1、与水务相关的网络文本数据的获取；

步骤1.1、根据网址类型，采用不同的网页搜索策略采集目标网页的网络文本数据：

若所述网址类型为供水集团官方网址，则采用广度优先策略；

若所述网址类型为政府门户网址，则采用深度优先策略；

若所述网址类型为网络社区或论坛网址，则根据所述目标网页的网络文本数据，获取发布与水务相关的话题、评论或留言的用户的类型，从而确定网页搜索策略；

若所述用户的类型为官方用户，则采用深度优先策略；

若所述用户的类型为个人用户，则采用深度优先策略和广度优先策略；

步骤1.2、根据所述目标网页的网络文本数据，获取所述网络文本数据所属第一话题的所有参与用户的等级；

若所属第一话题的参与用户的等级满足预设等级要求，则采集相应参与用户在所属第一话题下发表的全部网络文本数据；

步骤1.3、根据所述目标网页的网络文本数据，获取所述网络文本数据所属第二话题的所有参与用户的话题参与次数；

若所属第二话题的参与用户的话题参与次数超过预设参与次数阈值，则对相应参与用户在所属第二话题的生命周期内发布的网络文本数据进行采集；

步骤1.4、根据参与用户在所属第二话题的生命周期内发布的网络文本数据，获取所发布的网络文本数据所属第三话题的所有参与用户及其等级；

若所属第三话题的参与用户的等级满足预设等级要求，则采集相应参与用户在所属第三话题下发表的全部网络文本数据；

步骤2、与水务相关的网络文本数据的预处理；

步骤2.1、对与水务相关的网络文本数据进行分词处理，从而将文本转变为词向量；

步骤2.2、构建与水务相关的网络文本数据停用词表，用于对所述词向量进行去停用词处理，得到去停用词后的词向量；

步骤3、与水务相关的网络文本数据的分析以及水务舆情的发现；

步骤3.1、利用预处理后的网络文本数据构建语料库，假设语料库中有M条水务网络文本，则语料库中所有的词向量以及对应的主题表示为其中，表示第m条水务网络文本中的词向量，表示词向量对应的主题编号；

步骤3.2、计算语料库中水务网络文本的主题生成概率：

步骤3.2.1、利用式(1)得到第m条水务网络文本的主题生成概率

式(1)中，表示第m条水务网络文本的依据主题统计的词个数向量，且表示第m条水务网络文本中第k个主题产生的词个数，为超参数，Δ(·)表示归一化函数；

步骤3.2.2、利用式(2)得到语料库中水务网络文本的主题生成概率

步骤3.3、计算语料库中水务网络文本的词生成概率：

步骤3.3.1、利用式(3)得到第k个主题生成的词概率

式(3)中，表示由第k个主题产生的词向量，表示第k个主题产生的词个数向量，且表示第k个主题产生的第t个词的个数，为超参数；

步骤3.3.2、利用式(4)得到语料库中水务网络文本词的生成概率

步骤3.4、利用式(5)计算语料库中水务网络文本生成的联合概率

步骤3.5、利用式(6)更新语料库中的每个词的主题：

式(6)中，z_i表示第i个单词对应的主题，k表示主题编号，表示排除第i个单词，其余单词对应的主题，表示词向量，表示排除第i个单词后，第m条水务网络文本中第k个主题对应的单词数目，α_k为超参数的第k维，β_t为超参数的第t维，表示排除第i个单词，第k个主题生成的第t个单词数目，V表示整个水务网络文本语料库的长度；

步骤3.6、利用式(7)计算第k个主题的第t个单词的词分布

步骤3.7、利用式(8)计算第m条水务网络文本的第k个主题分布

步骤3.8、根据第k个主题下的词分布从当前第k个主题下选取前N个词作为第k个主题的关键词，再根据这些关键词的语义对第k个主题做出符合水务舆情实际意义的描述和解析，从而发现社会舆论和主流媒体对水务的关注点，以实现水务舆情的识别。