[发明专利]时空流数据集成平台

说明书

本发明提供一种时空流数据集成平台，包括：数据传输模块，以分布式消息中间件为基础，建立控制和管理功能，供用户建立“数据源‑连接器‑消息中间件‑连接器‑数据目的地”之间的传输通道；用户管理模块，用于注册和审核用户、管理历史操作日志，以及为用户分配权限；任务管理模块，提供任务的新建、控制和通知功能；任务是指通过数据传输模块建立的传输通道执行和完成一次数据传输的过程；运维监控模块，通过可视化运维看板管控所有数据传输过程和进展情况，提供多样化的图表；实时计算模块，结合流式处理的分布式计算中间件，提供针对时空流数据的过滤、聚合、汇总实时计算；数据清洗模块。本发明对时空流数据传输性能进行大幅提升。

技术领域

本发明涉及一种数据处理与传输系统，尤其是一种时空流数据集成平台。

背景技术

公交卡刷卡记录、行车记录仪记录的驾驶行为、GPS/北斗定位数据、飞机船舶的态势信息、设备运行状况、卫星对地观测信息等各式各样的实时流数据信息，构成了智慧城市、物联网、工业4.0的基础。这些实时信息由于都具有时间和空间属性标签，描述一个物体在历史的时间维度和地理纬度上的状态变化信息，而对于这些数据的分析，就是尝试掌握并把控其变化的规律的过程。随着物联网、大数据和人工智能技术的发展，时空流数据呈现爆发式的增长。

时空流数据的集成系统至少必须具备高吞吐量、高缓存和实时处理的能力。但现有的数据集成软件系统和方法多用于离线文件的批处理，如专利：数据集成系统和数据集成方法（申请号201310392454.3 ）、一种数据集成系统及方法（申请号：201811558696.4）、基于铝电解工厂的数据集成平台（申请号：201711481111.9），其目的是将业务数据（操作数据）文件从多个应用系统的数据库集成到统一的数据仓库中，以便于支持延时的决策分析,这类集成系统不具备高吞吐、高并发能力，也不能支持实时流计算方法，完全无法满足时空流数据的集成要求，难以整合利用时空流数据并从中获益。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种时空流数据集成平台，以高吞吐、高可用、高并发的分布式消息中间件为基础，根据时空流数据的特点和传输、集成、应用需求进行改进和性能提升。本发明采用的技术方案是：

一种时空流数据集成平台，包括：

数据传输模块，以分布式消息中间件为基础，建立控制和管理功能，供用户建立“数据源-连接器-消息中间件-连接器-数据目的地”之间的传输通道；

用户管理模块，用于注册和审核用户、管理历史操作日志，以及为用户分配权限；

任务管理模块，提供任务的新建、控制和通知功能；任务是指通过数据传输模块建立的传输通道执行和完成一次数据传输的过程；

运维监控模块，通过可视化运维看板管控所有数据传输过程和进展情况，提供多样化的图表；

实时计算模块，结合流式处理的分布式计算中间件，以API接口方式提供针对时空流数据的过滤、聚合、汇总实时计算；

数据清洗模块，提供自动化的纠正和转换方法，处理存在的无效数据、重复数据、异常数据。

进一步地，用户管理模块通过系统界面接收请求，进行权限验证后将权限转发给任务管理模块、实时计算模块、运维监控模块和数据传输模块；

实时计算模块通过消息中间件提供的调用接口输出数据进行处理、运维监控模块通过消息中间件提供的接口读取日志和运行状态，处理后进行呈现；

任务管理模块通过进程调用消息中间件的控制接口，实现任务管理；

数据传输模块通过接口调用实现连接器和消息中间件的参数配置。

进一步地，数据传输模块具体包括：

节点管理单元，用于新增、配置、修改和检测物理节点；