[发明专利]基于大数据文本挖掘的消费者政策感知分析方法及系统

权利要求书

1.基于大数据文本挖掘的消费者政策感知分析方法，其特征在于，包括：

获取政策文本数据及消费者评论文本数据并进行预处理；

基于预处理后的文本数据构建政策语料库；

基于政策语料库进行消费者政策感知分析。

2.根据权利要求1所述基于大数据文本挖掘的消费者政策感知分析方法，其特征在于，获取政策文本数据及消费者评论文本数据的步骤进一步包括：

确定数据源；

利用网络爬虫工具采集政策文本数据和对应消费者评论文本数据；

对采集的数据源进行随机抽样，并与爬取到的数据进行匹配校验；

若爬取到的数据通过校验，则将对应数据作本地持久化存储。

3.根据权利要求1所述基于大数据文本挖掘的消费者政策感知分析方法，其特征在于，预处理进一步包括去重、去噪及文本短句删除。

4.根据权利要求1所述基于大数据文本挖掘的消费者政策感知分析方法，其特征在于，基于预处理后的文本数据构建政策语料库进一步包括：

对预处理后的政策文本和消费者评论文本数据进行词语拆分，并统计所有产生的词语的词频；

基于词频统计结果进行点间互信息筛选；

基于点间互信息筛选结果进行左右信息熵筛选；

基于左右信息熵筛选结果进行停用词及常见通用词汇的去除，得到政策专业词汇；

由专家知识语料库对得到的政策专业词汇进行筛选，并完善识别消费者评论中与政策感知相关的词汇，对筛选和完善后的词汇按照政策分类分为四类，形成最终的政策语料库。

5.根据权利要求1所述基于大数据文本挖掘的消费者政策感知分析方法，其特征在于，执行消费者政策感知挖掘分析进一步包括：

将消费者分为不同类别；

在不同类别消费者中挖掘评论数据，包括词频强度分析、话题识别、语义网络分析、情感倾向分析；

比较不同类别消费者的挖掘分析结果，得到不同消费者群体对于不同类别政策感知的差异。

6.根据权利要求5所述基于大数据文本挖掘的消费者政策感知分析方法，其特征在于，词频强度分析进一步包括：将构建的政策语料库以及相关领域细胞词库导入自定义词典，利用jieba进行消费者评论文本的分词，并统计词频强度；将词频结果按照政策分类划分，并根据词频强度生成对应词云图。

7.根据权利要求5所述基于大数据文本挖掘的消费者政策感知分析方法，其特征在于，话题识别进一步包括：

将分词后的消费者评论文本按照每篇文档一个列表的格式存储；

将文本转化成词袋模型对应的稀疏向量的表达，构建词频矩阵；

计算不同主题数模型的困惑度，确定最优的模型主题数；

将通过困惑度法评估得到的最优主题数作为参数，训练LDA模型，分析得到消费者评论中关注的主题。

8.根据权利要求5所述基于大数据文本挖掘的消费者政策感知分析方法，其特征在于，语义网络分析进一步包括：

根据政策语料库，在消费者评论文本中筛选出谈及到政策相关的评论文本；

统计评论文本中高频词两两之间共同出现的次数，得出这些词之间的紧密程度；

统计共现词对出现的频率，根据结果构建高频词共现矩阵；

根据高频词共现矩阵，利用NetDraw绘制语义网络图，得到语义网络图中各节点之间的层级、紧密关系，以此了解消费者对于政策的感知情况。