[发明专利]一种基于服务工作流的时空大数据统计分析应用构建方法在审
申请号: | 202110337816.3 | 申请日: | 2021-03-30 |
公开(公告)号: | CN113127532A | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 丁维龙;周洁;夏延清 | 申请(专利权)人: | 北方工业大学 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F16/2457;G06F16/25;G06F16/248;G06F16/215;G06F16/21 |
代理公司: | 北京市广友专利事务所有限责任公司 11237 | 代理人: | 张仲波 |
地址: | 100144 北京市石景山*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 服务 工作流 时空 大数 据统计 分析 应用 构建 方法 | ||
1.基于服务工作流的时空大数据统计分析应用构建方法,其特征在于,包括:
基础数据服务:用于基于获取的多源、异构、分散的时空基础数据源提供相应的时空数据基础操作服务;
基础功能服务:用于根据数据描述性统计分析实现时空数据过程服务;
数据分析工作流:用于基于描述性统计分析的应用组合形成时空大数据统计分析的可视化结果。
2.根据权利要求1所述构建方法,其特征在于,包括:
所述基础数据服务包括:
将多源、异构、分散的基础数据统一接入基础存储系统中,抽取基础存储系统中基础数据中如时间、空间、对象等相关属性的关键信息形成时空基础数据源,并基于时空基础数据源对外提供如基础数据查询服务等时空数据基础操作服务;
所述基础功能服务包括:
基于时空基础数据源,根据描述性统计的应用过程和阶段,实现数据预处理、数据统计处理和数据可视化过程服务;
所述数据分析工作流包括:
基于BPMN2.0标准的服务工作流,通过服务工作流引擎依次调用基础数据服务和基础功能服务,完成时空大数据统计分析应用。
3.根据权利要求2所述构建方法,其特征在于,包括:
所述基础数据服务还包括:
数据接入服务:将多源、异构、分散的基础数据统一接入基础存储系统中,将基础存储系统构建为结构化的关系数据存储模型和非结构化大数据列存储模型,基于用户接入数据源时配置选取的存储模型,推荐如自动发现时间、空间属性,供用户设定数据存储的列属性属性数据的数据匹配服务;
数据查询服务:基于RESTful接口服务,对外提供封装的基础数据查询服务,所述基础数据查询服务包括设置时间维度、空间维度、查询对象维度等相应的数据查询服务,并形成查询数据集。
4.根据权利要求2所述构建方法,其特征在于,包括:
所述基础功能服务还包括:
预处理服务:
数据清洗服务:
基于查询数据集,根据用户定义的业务语义规范,自动剔除查询数据集中的错误数据,并将数据项中的语义不一致和缺失的数据供用户修正或删除;
数据投影服务:
根据描述性统计分析服务的业务需求,供用户实现数据属性的子集选取,并形成统计分析数据集;
通过数据清洗服务和数据投影服务形成预处理数据集;
统计处理服务:
基于预处理数据集或上一个统计分析数据集,通过时空数据统计服务模板的扩展和实例化,实现多类统计计算,并形成统计数据集;
可视化服务:
基于统计数据集,通过配置和组合形成模块化的可视化效果。
5.根据权利要求2所述构建方法,其特征在于,包括:
所述数据分析工作流还包括:
基础数据服务支持服务:
基于基础数据服务,实现如连接地址、连接用户名、密码、表名、队列名等的时空基础数据源配置;
基础功能服务支持服务:
预处理服务支持服务和统计处理服务支持服务:
基于预处理服务和统计处理服务,实现基于Hadoop MapReduce的大数据批量计算的如集群地址、连接用户、密码、作业jar文件位置、输入、输出、作业参数表等相应配置;
可视化支持服务:
基于可视化服务,实现基于JavaScript的可视化组件的如图示类型、属性映射等配置;
服务工作流的构建服务:
通过服务工作流的构建实现具有流控制的有向无环图结构的时空大数据统计分析应用;
所述服务工作流包括至少一个基础数据服务支持服务、至少一个预处理服务支持服务、至少一个统计处理服务支持服务、至少一个可视化支持服务;
所述流控制包括活动间具有顺序和条件分支结构的控制流的流控活动。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北方工业大学,未经北方工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110337816.3/1.html,转载请声明来源钻瓜专利网。