[发明专利]一种分布式大数据采集分析处理方法及系统

权利要求书

1.一种分布式大数据采集分析处理方法，其特征在于，包括如下步骤：

步骤1，采集基金平台上的所有数据集中进入数据缓冲池；

步骤2，通过数据处理模块对数据缓存池中的原始数据进行筛选，去除杂质数据，将原始数据引入到数据资源库中形成资源数据；

步骤3，通过数据分类标记模块对数据资源库中的资源数据进行分类和序列标签化，然后对应的存储到数据索引池中。

2.如权利要求1所述的一种分布式大数据采集分析处理方法，其特征在于：步骤3数据分类标记模块对数据资源库中的资源数据进行分类和序列标签化，然后对应的存储到数据索引池中，具体步骤为：首先，数据资源库中建立有数据容器，数据容器中建立数据标签模型,然后再建立数据分析引擎，通过建立数据分析引擎连通有数据容器中建立数据标签模型，最后通过数据分析引擎对数据容器中数据模型进行重构及运算得到宏观大数据及微观数据集。

3.一种分布式大数据采集分析处理系统，其特征在于：包括

数据缓冲池，用于采集基金平台上的所有数据；

数据处理模块，用于对所述数据缓冲中的所有数据进行处理进入到数据资源库；

数据分类标记模块，用于对数据资源库资源数据进行分类和序列标签化，然后对应的存储到数据索引池中。

4.如权利要求3所述的一种分布式大数据采集分析处理方法，其特征在于：所述数据资源库中建立有数据容器，数据容器中建立数据标签模型。

5.如权利要求4所述的一种分布式大数据采集分析处理方法，其特征在于：还包括建立数据分析引擎，通过建立所述数据分析引擎连通有数据容器中建立数据标签模型，通过所述数据分析引擎对数据容器中数据模型进行重构及运算得到宏观大数据及微观数据集。