[发明专利]一种基于分布式的电商数据整合系统及方法在审
申请号: | 202010427365.8 | 申请日: | 2020-05-19 |
公开(公告)号: | CN111639128A | 公开(公告)日: | 2020-09-08 |
发明(设计)人: | 宋培森;陈晨 | 申请(专利权)人: | 徐州工业职业技术学院 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/21;G06F16/26 |
代理公司: | 北京国坤专利代理事务所(普通合伙) 11491 | 代理人: | 赵红霞 |
地址: | 221140 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 分布式 商数 整合 系统 方法 | ||
本发明属于数据整合技术领域,公开了一种基于分布式的电商数据整合系统及方法,所述基于分布式的电商数据整合系统包括:数据输入模块、数据整理汇总模块、数据库模型构建模块、中央控制模块、整合类别确定模块、数据库映射规范模块、整合方案确定模块、数据整合模块、显示模块、数据输出模块。本发明通过数据库模型构建实现对电商数据的整合,数据库模型可以进行增加、删减或是变更,能够实现多次利用;数据库能够赋予整合过程高效、方便的效果,提高电商数据的整合效率,同时整个整合过程不会受到外界魂晶的干扰,整合过程不间断,更好地保证整合过程连续性;并且通过数据库映射范围的准确限定能够实现数据整合的准确性的提升。
技术领域
本发明属于数据整合技术领域,尤其涉及一种基于分布式的电商数据整合系统及方法。
背景技术
目前,大数据是在信息爆炸时代所衍生出来的具有内在逻辑结构的数据集合。大数据正在云计算进行深度结合,并旨在为商业智能(BI)、用户行为分析、智慧城市等诸多领域中所产生的各种数据进行复合、分析,从而打造更为人性的社会、经济、管理平台。数据整合是大数据或者包含大数据架构的智能化项目中非常重要的一个环节。为了对海量数据实现更为高效的利用、分析等操作前,通常需要对各种类型的数据进行分析与采集,以建立各种模型并为用户提供可视化界面,从而为各种商业策略、社会管理手段提供比较准确的参考。同时,对收集到的数据进行加工、清洗、提炼是在大数据分析使用之前的一个非常重要的前置工作。但是现有技术在进行数据整合中采用并行的分布式架构,如果某个节点出现网络故障、硬盘故障或者人为操作失误等意外情况时,会导致整个数据整合系统发生崩溃或者数据整合错误。
通过上述分析,现有技术存在的问题及缺陷为:现有技术在进行数据整合中采用并行的分布式架构,如果某个节点出现网络故障、硬盘故障或者人为操作失误等意外情况时,会导致整个数据整合系统发生崩溃或者数据整合错误。
发明内容
针对现有技术存在的问题,本发明提供了一种基于分布式的电商数据整合系统及方法。
本发明是这样实现的,一种基于分布式的电商数据整合方法,所述基于分布式的电商数据整合方法,包括以下步骤:
步骤一,数据输入模块,通过数据输入程序输入电商数据;数据输入完成后,数据整理汇总模块通过数据整理汇总程序进行输入电商数据的整理汇总;
步骤二,根据输入电商数据的整理汇总,中央控制模块对相应的数据进行处理;中央控制模块,分别与数据输入模块、数据整理汇总模块、数据库模型构建模块、整合类别确定模块、数据库映射规范模块、整合方案确定模块、数据整合模块、显示模块、数据输出模块连接,用于通过主控机控制各个模块正常运行;
步骤三,中央控制模块控制数据库模型构建模块通过数据库模型构建程序构建数据库模型,整合类别确定模块通过整合类别确定程序确定电商数据整合的不同类别;
步骤四,中央控制模块控制数据库映射规范模块通过数据库映射规范模块建立不同数据库模型下的映射规范;整合方案确定模块通过整合方案确定程序确定数据整合规则,确定整合方案;数据整合模块通过数据整合程序依照数据整合方案进行不同类别数据的整合,并将其整合至对应数据库;
步骤五,中央控制模块控制显示模块通过显示器对整合过程以及整合后数据进行显示,数据输出模块通过数据输出程序进行整合数据的输出;
所述步骤三中,与中央控制模块连接,用于通过整合类别确定程序确定电商数据整合的不同类别的整合类别确定模块对电商数据整合的不同类别的方法,包括:
根据电商数据整合的不同类别,提取特征分类的标准数值;计算标准数值与各个点的距离,按照从小到大进行排序;
根据电商数据分类标准数值,旋转N个数值;选取与标准数值最近的数值点,将最近的数值点归为一类;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于徐州工业职业技术学院,未经徐州工业职业技术学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010427365.8/2.html,转载请声明来源钻瓜专利网。
- 上一篇:流媒体集群控制系统和方法
- 下一篇:一种配置RRC状态的方法及网络设备