[发明专利]一种基于分布式的电商数据整合系统及方法

权利要求书

1.一种基于分布式的电商数据整合方法，其特征在于，所述基于分布式的电商数据整合方法，包括以下步骤：

步骤一，数据输入模块，通过数据输入程序输入电商数据；数据输入完成后，数据整理汇总模块通过数据整理汇总程序进行输入电商数据的整理汇总；

步骤二，根据输入电商数据的整理汇总，中央控制模块对相应的数据进行处理；中央控制模块，分别与数据输入模块、数据整理汇总模块、数据库模型构建模块、整合类别确定模块、数据库映射规范模块、整合方案确定模块、数据整合模块、显示模块、数据输出模块连接，用于通过主控机控制各个模块正常运行；

步骤三，中央控制模块控制数据库模型构建模块通过数据库模型构建程序构建数据库模型，整合类别确定模块通过整合类别确定程序确定电商数据整合的不同类别；

步骤四，中央控制模块控制数据库映射规范模块通过数据库映射规范模块建立不同数据库模型下的映射规范；整合方案确定模块通过整合方案确定程序确定数据整合规则，确定整合方案；数据整合模块通过数据整合程序依照数据整合方案进行不同类别数据的整合，并将其整合至对应数据库；

步骤五，中央控制模块控制显示模块通过显示器对整合过程以及整合后数据进行显示，数据输出模块通过数据输出程序进行整合数据的输出；

所述步骤三中，与中央控制模块连接，用于通过整合类别确定程序确定电商数据整合的不同类别的整合类别确定模块对电商数据整合的不同类别的方法，包括：

根据电商数据整合的不同类别，提取特征分类的标准数值；计算标准数值与各个点的距离，按照从小到大进行排序；

根据电商数据分类标准数值，旋转N个数值；选取与标准数值最近的数值点，将最近的数值点归为一类；

所述步骤四中，与中央控制模块连接，用于通过数据整合程序依照数据整合方案进行不同类别数据的整合，并将其整合至对应数据库的数据整合模块对数据融合的过程为：

根据数据整合方案，电商数据进行预处理；并对电商数据中的数值进行纠正；

纠正完成的电商数据，提取相应的特征数据，进行特征匹配；

根据提取的特征数值，建立相应的特征数值对应的特征向量，进行统一解释说明，同时建立映射关系；

根据映射关系，对电商数据进行有机融合。

2.如权利要求1所述基于分布式的电商数据整合方法，其特征在于，所述步骤一中，进行输入电商数据的整理汇总包括：

步骤(1)，获取输入的电商数据，并存入数据文件中；

步骤(2)，依据数据汇总需求生成至少一个数据汇总任务，其中每个数据汇总任务包括用于唯一标识该任务的ID和用于描述该任务将执行的操作，以及操作后得到的结果的执行命令；

步骤(3)，依据数据汇总任务之间的依赖关系执行每一个数据汇总任务，根据遍历数据文件得到的数据执行该数据汇总任务对应的操作，并在执行该数据汇总任务结束后释放分配的内存；

步骤(4)，生成已执行的数据汇总任务的索引文件。

3.如权利要求2所述基于分布式的电商数据整合方法，其特征在于，所述步骤(1)具体包括：

获取需要分析的多个数据；

根据数据的生成规则解析获取的数据，得到该数据的属性信息；依据数据的属性信息将解析后的数据按照指定的格式分类存入相应的数据文件中。

4.如权利要求2所述基于分布式的电商数据整合方法，其特征在于，所述步骤(3)具体包括：

1)依据数据汇总任务之间的依赖关系将生成的数据汇总任务通过任务ID之间的依赖关系标识为独立任务和关联任务；

2)对于每个独立任务，遍历数据文件，根据从数据文件遍历得到的数据执行该独立任务对应的操作，并在该独立任务结束后释放执行该独立任务时分配的内存；

3)对于每个关联任务，遍历数据文件，根据从数据文件遍历到的数据以及每个关联任务中各个子任务之间的先后顺序执行对应的操作，并在该关联任务结束后释放执行该关联任务时分配的内存。