[发明专利]一种基于云计算的大数据信息分析方法

说明书

本发明公开了一种基于云计算的大数据信息分析方法，属于大数据分析技术领域，包括大数据采集模块，所述大数据采集模块输出端连接有大数据录入模块，所述大数据录入模块输出端连接有数据预处理单元，所述数据预处理单元输出端连接有数据调用模块，所述数据调用模块输出端连接有数据挖掘单元。本发明中，当需要对数据信息进行分析时，通过将数据挖掘单元算力与云计算平台进行交互，仅需支付云计算服务费用，降低计算服务器的硬件配置需要，减少服务器设置空间需要，同时通过对大数据录入时定义数据，并且通过数据预处理有效降低数据处理难度，显著提高处理效率，满足大数据分析与云计算配合交互需要。

技 术 领 域

本发明属于大数据分析技术领域，尤其涉及一种基于云计算的大数据信息分析方法。

背景技术

信息分析主要是根据事物、现象、数据和信息的属性、特征、本质、规律和相关性进行定性和定量分析，以发现新的知识，因此，信息分析是基于事物、现象、数据和信息之间的因果关系或相互关系，关系是指事物之间因时间、秩序、结构、运动等而产生的联系，包括时间、空间、发生和发展的逻辑，包括过程，如工业过程、商业过程等，规律，如生命的生命周期、自然运动规律等，样本微观分析：信息分析取数据，信息和现象作为对象，一般从整体或整体中选取部分样本进行分析，称为样本分析或抽样分析，在大数据服务逐渐兴起的当下，大数据的信息分析是互联网服务至关重要的一环。

现有技术中，大数据信息分析多通过机器学习算法进行分析学习，学习分析的速度及准确率主要由算力决定，而中小型公司无法满足大数据信息分析的计算学习算力要求的算力服务器配置，影响到对大数据信息分析的准确性和即时性，影响到大数据信息服务分析的发展，并且大数据中数据繁杂，重复的数据流也严重影响到数据分析的精度，不能很好的满足大数据信息分析需要，因此亟需一种大数据信息分析方法来满足算力供给不足的需要。

发明内容

本发明的目的在于：为了解决中小型公司无法满足大数据信息分析的计算学习算力要求的算力服务器配置，影响到对大数据信息分析的准确性和即时性，影响到大数据信息服务分析的发展，并且大数据中数据繁杂，重复的数据流也严重影响到数据分析精度的问题，而提出的一种基于云计算的大数据信息分析方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于云计算的大数据信息分析方法，包括大数据采集模块，所述大数据采集模块输出端连接大数据录入模块，所述大数据录入模块输出端连接数据预处理单元，所述数据预处理单元输出端连接数据调用模块，所述数据调用模块输出端连接数据挖掘单元，所述数据挖掘单元输出端连接云计算平台，所述数据调用模块输入端连接交互模块和备份模块；

所述大数据采集模块对大数据进行端口采集，所述大数据录入模块将采集到的数据完全定义排序后进行录入，数据预处理单元将录入的数据进行处理，数据调用模块调用预处理后的大数据并发送至数据挖掘单元，交互模块对大数据分析重点进行概括，备份模块将备份数据挖掘分析后留存数据，数据挖掘单元将对大数据通过云计算平台进行计算分析，云计算平台对数据挖掘单元提供算力支持。

作为上述技术方案的进一步描述：

所述数据预处理单元包括数据字段提取模块，所述数据字段提取模块输入端连接大数据录入模块输出端，所述数据字段提取模块输出端连接数据字段筛重模块，所述数据字段筛重模块输出端连接数据预存储模块，所述数据预存储模块输出端连接数据调用模块输入端；

其中，数据字段提取模块将数据字段中重复段落提取，数据字段筛重模块将提取后的数据字段进行去重，数据预存储模块存储筛重后待分析的数据进行短时记忆，并且在处理完成后直接删除。

作为上述技术方案的进一步描述：