[发明专利]一种适用于数据中心海量短报文数据处理的系统

说明书

本发明提供了一种适用于数据中心海量短报文数据处理的系统，包括：插件式数据适配器及框架模块：包括数据采集、数据接收、数据导入功能；分布式消息中间件模块：包括数据分类、数据传输功能；数据转换器模块：包括数据转换、数据入库功能；数据存储模块；包括关系型数据库、非关系型数据库、高速缓存数据库、应用数据库；服务应用与管理模块：包括基础服务和服务管理框架。本发明具有以下优点：1、提供即插即用的快速化的数据采集能力；2、提供海量数据的高效传输；3、提供标准化的数据转存及入库一体化处理流程，提高数据入库效率；4、提供冷热双重数据库，提供百亿级数据的秒级响应；5、提供统一的对外服务接口及标准化基础数据服务。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种适用于数据中心海量短报文数据处理的系统。

背景技术

近年来，城市中越来越多的数据层出不穷，如何高效的利用城市数据成为许多城市管理者的业务难题，在这样的背景下，越来越多的城市提出建设新型化的智慧城市，以满足城市智慧管理的诉求。智慧城市核心点在于建设城市信息资源的融合平台，即城市数据中心，城市数据中心需要融合城市各种数据，但由于不同政府组织机构在信息化过程中，由于建设技术、方式、时间有所差异，以及近年来计算机科学技术高速发展，不同组织机构的信息管理系统存在区别，导致不同机构组织之间的信息不能共享，难以看到整体数据层面并进行决策。

为了解决城市数据全局性的问题，同时能够更好的使用城市数据，围绕城市数据中心，建设城市信息资源平台，对城市的数据进行充分的挖掘与分析，以多元化的方式展现数据，同时对各类应用提供支撑服务，对城市各方面信息资源进行全面的融合与多元化的集成。

短报文数据是一类具有短小、高频、繁多等特点的城市感知层数据，在城市数据采集的多个领域都有所涉及，包括但不限于：各类传感器数据、第三方位置数据、物联网数据等城市动态信息，还包括既有系统的历史数据库相关内容。

目前，行业上成熟的软件能够分阶段的解决数据中心相应的问题，但是在智慧城市领域内对于政府短报文类的需求解决尚有提升空间，例如：对于海量多源化的异构数据支持能力还存在提升空间；并且，在数据量上升到一定规模后(千亿级别)，数据的检索性能会遭遇瓶颈，不能够满足政府业务的性能需求，如：还不能够在秒级去响应一些位置轨迹信息的查询；另外，由于系统高度依赖于各个分离的业务模块，导致在部署过程中流程长，耗时多。

短报文数据处理系统的经济效益在于，在智慧城市领域项目初期对接时，经常会出现甲方希望提前看到演示系统的情况，甲方基于演示系统对项目立项阶段的工作进行推进，所以如何快速搭建智慧城市前期演示系统成为项目前期运作的一个重要环节，短报文数据处理系统能够提供城市感知层的传感器、车辆位置等数据的快速接入展示能力，对项目前期的快速落地有一定的促进作用。另一方面，在项目具体实施过程中，一般需要对接不同的第三方系统，并且各个系统的开发语言、数据传输协议均有所不同，如果采用个性化的对接方式，将会造成大量的重复性工作，短报文数据处理系统能够提供一种快速的对接方式，缩短系统之间对接时间，节约人员成本。最后，随着城市的不断发展，短报文类数据增长的速度会越来越快，当数据量不断增加的时候，不需要改变系统架构，只需要通过增加硬件的方式，就能够达到性能的线性提升，从而很大程度的降低了系统后期运维成本。

发明内容

为了提供海量的异构短报文类型的数据的异构存储、高速检索和提供高效的数据服务，本发明提出一种适用于数据中心海量短报文数据处理的系统。本发明具体通过如下技术方案实现：

一种适用于数据中心海量短报文数据处理的系统，所述系统包括插件式数据适配器及框架模块、分布式消息中间件模块、数据转换器模块、数据存储模块和数据存储模块；

其中，插件式数据适配器及框架模块包括数据采集、数据接收、数据导入功能；系统包括多种适配器模块，所述多种适配器模块集成在一起接受框架的管理，使用框架的服务接口进行交互，在框架的管理下各个适配器有序工作，所述框架提供适配器的认证和注册功能，并在运行时监控适配器的运行；