[发明专利]一种分布式大数据采集分析处理方法及系统

说明书

本发明公开了一种分布式大数据采集分析处理方法及系统，包括如下步骤：步骤1，采集基金平台上的所有数据集中进入数据缓冲池；步骤2，通过数据处理模块对数据缓存池中的原始数据筛选，将原始数据引入到数据资源库中形成资源数据；步骤3，通过数据分类标记模块对数据资源库中的资源数据分类和序列标签，然后对应的存储到数据索引池中。包括数据缓冲池，用于采集基金平台上的所有数据；数据处理模块，用于对所述数据缓冲中的所有数据进行处理进入到数据资源库；数据分类标记模块，用于对数据资源库资源数据分类和序列标签，然后对应的存储到数据索引池中。本发明其更适合互联网中平台对于海量数据存储和处理，更加能够满足现代人们的使用需求。

技术领域

本发明涉及数据存储与处理技术领域，尤其涉及一种分布式大数据采集分析处理方法及系统。

背景技术

为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，即为同一份数据存储多个副本。另外，云计算系统需要同时满足大量用户的需求，并行地为大量用户提供服务。因此，云计算的数据存储技术必须具有高吞吐率和高传输率的特点。

在实际工作中，对海量数据进行处理是一项艰巨而复杂的任务，其原因有以下几个方面：

一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时，前面还能正常处理，突然到了某个地方问题出现了，程序终止了。

二、软硬件要求高，系统资源占用率高。对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。

三、要求很高的处理方法和技巧。好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。

针对此种于是出现了授权公告号为CN105608155B的中国实用新型专利，公开了及一种海量数据分布式存储系统，包括大数据存储模块和小数据存储模块，所述大数据存储模块针对车载智能终端所上传的大数据进行存储和管理；所述小数据存储模块针对车载智能终端所上传的小数据进行存储和管理。然而此种技术只能够进行存储，但是对于在多数平台(如淘宝和京东等等大平台)的数据进行存储和处理，还没有一种高效的技术来处理，因此无法满足现在各大平台处理海量数据的需求。

发明内容

(一)需要解决的技术问题

针对现有技术中的不足，本发明提供了一种分布式大数据采集分析处理方法及系统，其更适合互联网中平台对于海量数据存储和处理，更加能够满足现代人们的使用需求。

(二)需要采取的技术方案

为了实现上述目的，本发明所采取的技术方案是：

一种分布式大数据采集分析处理方法，包括如下步骤：

步骤1，采集基金平台上的所有数据集中进入数据缓冲池；

步骤2，通过数据处理模块对数据缓存池中的原始数据进行筛选，去除杂质数据，将原始数据引入到数据资源库中形成资源数据；

步骤3，通过数据分类标记模块对数据资源库中的资源数据进行分类和序列标签化，然后对应的存储到数据索引池中。

优选地，步骤3中数据分类标记模块按照数据源、数据标记、数据属性、数据概要等条件将有效数据进行序列化并将标签数据录入数据索引池。