[发明专利]一种基于大数据的调查问卷设计辅助系统

说明书

本发明公开一种基于大数据的调查问卷设计辅助系统，包括信息爬虫模块、数据清洗模块、主题语义分析模块、评价语义分析模块、非结构化存储模块和多维度统计可视化模块；信息爬虫模块包括第一信息爬虫单元和第二信息爬虫单元，数据清洗模块与主题语义分析模块和评价语义分析模块连接，主题语义分析模块和评价语义分析模块分别通过非结构化存储模块与多维度统计可视化模块连接。本发明通过对输入调查方向的主体和关键字进行爬取、清洗和分析处理，以输出形成聚类的可视化多维度展现的与调查方向相关的主体和评价的热点、导向，从而辅助调查文件设计，提高了调查文件设计环节的工作效率，同时提高了调查问卷设计的可靠性和辅助能力。

技术领域

本发明属于大数据技术领域，涉及到一种基于大数据的调查问卷设计辅助系统。

背景技术

目前调查问卷的设计方法，主要通过以下几个流程来完成设计的辅助工作，例如，1.深入了解调查背景，2.相关文献调研，3.深入了解被访者情况，4.形成定性研究报告并提出相应假设，5.围绕假设，设置题目。

在问卷调查设计前期，需要花费大量时间和精力来围绕调查主题进行调研，对于多个地区的调查工作可能需要花费更多的精力在实地调研工作，不仅浪费调查人员的时间和精力，而且大大降低了调研的效率，并且无法对调研的内容进行可靠的分析以及无法对潜在的选项提供可靠的依据，为了解决以上问题，现设计一种基于大数据的调查问卷设计辅助系统。

发明内容

本发明的目的在于提供一种基于大数据的调查问卷设计辅助系统，解决了现有调查问卷设计需消耗大量的人力和物力，存在调研效率低，以及无法为调研内容提供可靠的分析和依据的问题。

本发明的目的可以通过以下技术方案实现：

一种基于大数据的调查问卷设计辅助系统，包括信息爬虫模块、数据清洗模块、主题语义分析模块、评价语义分析模块、非结构化存储模块和多维度统计可视化模块；

所述信息爬虫模块包括第一信息爬虫单元和第二信息爬虫单元，所述第一信息爬虫单元用于接收输入的主题、关键字信息，对爬虫进行初始化，通过主题、关键字寻找目标网络信息，开始进行爬取任务，爬取的内容包括页面数据中的结构化、非结构化文本、页面内和页面间的超链接，且通过多层相关链接的深度爬取，获取与主题和关键字的相关性较强的信息以为进一步处理做准备，并将爬虫抓取的数据信息发送至数据清洗模块；

第二信息爬虫单元对不同关键字所关联的评论信息进行爬取；

数据清洗模块对爬虫爬取的数据信息进行清理加工，通过预过滤提取所需的文本信息和链接信息，并进行分类，将提取的文本信息进行分词处理，以便于提取主题和关键字信息，并将分词后的主题和关键字信息主题语义分析模块，将链接信息发送至返回至第二信息爬取单元，实现数据信息的进一步爬取；

所述主题语义分析模块对分词过后的关键字信息进行分析，通过不同量化指标后将关键字排序，获取前N个作为关键字，对分析出的前N个关键字标注的地理位置、时间、传播途径维度进一步进行分析，将前N个关键字标注的地理位置、时间、传播途径维度构成文本向量，对文本向量进行特征提取，再通过降维，构建语义空间模型，把文本向量投影在语义空间，形成新文本向量；

所述评价语义分析模块通过量化指标对评价信息中的关键字进行排序，并标注多个维度信息，标注的多个维度的关键字发送至深度学习模块，便于深度学习模块进一步分析；

所述深度学习模块对关键字进行不同主题关键字方向的聚类分析，通过聚类分析和深度学习模型的训练，提高了语义关键字的聚类分析能力，产生对调查问卷主题方向不同分类下的问卷题目设计思路；

在分析评论信息时，深度学习模型对不同主题的评论信息进行聚类分析，形成该主题的多个聚类方向的候选答案，便于对调查问题的答案设计提供参考思路；