[发明专利]基于大数据文本挖掘的消费者政策感知分析方法及系统

说明书

本发明公开一种基于大数据文本挖掘的消费者政策感知挖掘方法及系统，包括：在相关政府网站和社交平台采集特定领域政策文本数据及消费者评论文本数据；对采集的文本数据进行预处理，包括去重、降噪、短句处理；基于机器识别和专家知识语料库对专业词汇进行深入挖掘并构建政策语料库；基于消费者评论并结合政策语料库对消费者政策感知挖掘分析。本发明充分利用网络舆论信息，从消费者政策感知角度，对消费者评论文本进行挖掘，并且建立消费者政策感知挖掘的专家知识语料库，从而较大程度提升文本分词效果，并结合自然语言处理等技术，更加系统、准确地挖掘分析消费者对政策的感知状态，为优化政策供给，提高政策精准性和效益性提供建议。

技术领域

本发明涉及数据挖掘技术领域，尤其涉及基于大数据文本挖掘的消费者政策感知挖掘，具体为一种基于大数据文本挖掘的消费者政策感知分析方法及系统。

背景技术

研究消费者对于政策的感知具有重大的现实意义。对消费者的政策感知进行研究，就是研究消费者对政策的关注内容、关注程度、对政策合理性、必要性的评价和情感态度等。

随着互联网技术的普及，越来越多的消费者在网上发表自己的评论，形成大量消费者生成内容(UGC)，这些在社交媒体平台上产生的大量文本数据很大程度上地反映了消费者内心的真实想法，对其进行分析可以把握消费者的关注热点及情感态度。同时，政府网站上不断增长的政策文本数据作为一种公开、可获取的信息资源，也蕴含着许多信息，对其进行深入挖掘分析是追溯政策意图、把握决策者态度的一个重要途径。在政策研究方面，传统的内容分析法主要依赖专家学者对政策文本内容进行研究，工作量大且覆盖面窄，效率低下。随着大数据技术的不断发展，定量分析的方法在政策文本挖掘分析研究中占据着一席之地。

关于消费者的政策感知研究，尽管相关研究人员在政策挖掘方面也提出了很多解决方案。但是现有政策挖掘研究对于“政府-消费者”这一层面的研究数量较少，较少涉及到消费者政策感知挖掘的解决方案，在完善性方面也有待提高。如申请号202011260570.6的中国专利于2021年2月19日公开的一种基于标签相似度的企业政策匹配方法，该方案通过构造企业标签和政策标签并计算两者相似度，以此完成企业和政策的匹配。该方案将政策供给侧和需求侧匹配，但该研究基于“政府-企业”层面展开，忽略了消费者舆论对政策制定与推行的优化作用，存在完善的空间。

现有的基于文本挖掘技术挖掘政策感知的解决方案中，较少研究人员对网络舆情数据进行利用，如申请号201710934706.9的中国专利于2017年10月9日公开的一种基于城市特定人群和关联政策的匹配推荐方法及系统，该方案通过对特定人群进行聚类，抽取各分类需求标签，针对特定人群采取的相关政策进行分析，将人群与政策进行匹配，并推荐政策给指定消费者。但该方案的信息来源主要来自各委办局信息系统数据以及针对特定人群的问卷调查数据，没有充分利用网络舆论信息，忽略了消费者舆论中所蕴含的感知价值。采用的问卷调查方式，存在回收率和有效率不能保证、人群覆盖不够广的问题，并且回答的结果真实性难以保证。

并且，现有解决方案采用的分词工具缺少结合专家知识语料库的政策语料库，完善识别消费者评论中和政策相关的词汇，政策文本分词的准确度有待提升。如申请号202110204049.9的中国专利于2021年5月14日公开的一种面向政府决策的政务大数据分析方法及设备。该方案根据与政务数据相关的层级划分指标和分类汇总指标，构建多维数据挖掘模型，并对政务数据进行多维挖掘分析，但由于政策文本具有与普通文本不同的语言风格和特征，政策文本的表达具有严格的规范性，具有特定的公文专用语，而消费者评论中和政策相关的词汇相对丰富，现有解决方案没有针对此构建政策语料库，分词结果准确度有待提升。

可见，现有政策感知研究方法存在以下问题：

消费者感知数据多来源于问卷调查，问卷的回收率和有效率不能保证，人群的覆盖面不够广，并且回答的结果真实性难以保证；

现有的基于文本挖掘的研究往往忽略了消费者评论中所蕴含的感知价值；