[发明专利]一种基于大数据的调查问卷设计辅助系统

摘要

本发明公开一种基于大数据的调查问卷设计辅助系统，包括信息爬虫模块、数据清洗模块、主题语义分析模块、评价语义分析模块、非结构化存储模块和多维度统计可视化模块；信息爬虫模块包括第一信息爬虫单元和第二信息爬虫单元，数据清洗模块与主题语义分析模块和评价语义分析模块连接，主题语义分析模块和评价语义分析模块分别通过非结构化存储模块与多维度统计可视化模块连接。本发明通过对输入调查方向的主体和关键字进行爬取、清洗和分析处理，以输出形成聚类的可视化多维度展现的与调查方向相关的主体和评价的热点、导向，从而辅助调查文件设计，提高了调查文件设计环节的工作效率，同时提高了调查问卷设计的可靠性和辅助能力。

主权项

1.一种基于大数据的调查问卷设计辅助系统，其特征在于：包括信息爬虫模块、数据清洗模块、主题语义分析模块、评价语义分析模块、非结构化存储模块和多维度统计可视化模块；所述信息爬虫模块包括第一信息爬虫单元和第二信息爬虫单元，所述第一信息爬虫单元用于接收输入的主题、关键字信息，对爬虫进行初始化，通过主题、关键字寻找目标网络信息，开始进行爬取任务，爬取的内容包括页面数据中的结构化、非结构化文本、页面内和页面间的超链接，且通过多层相关链接的深度爬取，获取与主题和关键字的相关性较强的信息以为进一步处理做准备，并将爬虫抓取的数据信息发送至数据清洗模块；第二信息爬虫单元对不同关键字所关联的评论信息进行爬取；数据清洗模块对爬虫爬取的数据信息进行清理加工，通过预过滤提取所需的文本信息和链接信息，并进行分类，将提取的文本信息进行分词处理，以便于提取主题和关键字信息，并将分词后的主题和关键字信息主题语义分析模块，将链接信息发送至返回至第二信息爬取单元，实现数据信息的进一步爬取；所述主题语义分析模块对分词过后的关键字信息进行分析，通过不同量化指标后将关键字排序，获取前N个作为关键字，对分析出的前N个关键字标注的地理位置、时间、传播途径维度进一步进行分析，将前N个关键字标注的地理位置、时间、传播途径维度构成文本向量，对文本向量进行特征提取，再通过降维，构建语义空间模型，把文本向量投影在语义空间，形成新文本向量；所述评价语义分析模块通过量化指标对评价信息中的关键字进行排序，并标注多个维度信息，标注的多个维度的关键字发送至深度学习模块，便于深度学习模块进一步分析；所述深度学习模块对关键字进行不同主题关键字方向的聚类分析，通过聚类分析和深度学习模型的训练，提高了语义关键字的聚类分析能力，产生对调查问卷主题方向不同分类下的问卷题目设计思路；在分析评论信息时，深度学习模型对不同主题的评论信息进行聚类分析，形成该主题的多个聚类方向的候选答案，便于对调查问题的答案设计提供参考思路；所述非结构化存储模块与深度学习模块连接，用于接收深度学习模块对不同主题关键字和评论信息进行分析的数据，并将接收的数据进行存储和读取；多维度统计可视化模块用于调用非结构化存储模块中不同主题关键字以及关键字对应的评论信息，进行可视化处理，生成可视化中间结果，并将生成的可视化中间结果进行可视化输出。