[发明专利]一种适用于数据中心海量短报文数据处理的系统

摘要

本发明提供了一种适用于数据中心海量短报文数据处理的系统，包括：插件式数据适配器及框架模块：包括数据采集、数据接收、数据导入功能；分布式消息中间件模块：包括数据分类、数据传输功能；数据转换器模块：包括数据转换、数据入库功能；数据存储模块；包括关系型数据库、非关系型数据库、高速缓存数据库、应用数据库；服务应用与管理模块：包括基础服务和服务管理框架。本发明具有以下优点：1、提供即插即用的快速化的数据采集能力；2、提供海量数据的高效传输；3、提供标准化的数据转存及入库一体化处理流程，提高数据入库效率；4、提供冷热双重数据库，提供百亿级数据的秒级响应；5、提供统一的对外服务接口及标准化基础数据服务。

主权项

1.一种适用于数据中心海量短报文数据处理的系统，其特征在于：所述系统包括插件式数据适配器及框架模块、分布式消息中间件模块、数据转换器模块、数据存储模块和数据存储模块；其中，插件式数据适配器及框架模块包括数据采集、数据接收、数据导入功能；系统包括多种适配器模块，所述多种适配器模块集成在一起接受框架的管理，使用框架的服务接口进行交互，在框架的管理下各个适配器有序工作，所述框架提供适配器的认证和注册功能，并在运行时监控适配器的运行；分布式消息中间件模块包括数据分类、数据传输功能；所述消息中间件主要起到两个作用：第一，消息路由，消息路由管理着消息的传递，通过一定的配置项分发将消息分发到不同的消息队列中，起到指挥调度的作用；第二，消息传输，消息队列接收到消息路由的指令后，按照消息路由的指令，执行消息传输；数据转换器模块包括数据转换、数据入库功能；数据转存器主要负责将采集器中打包的数据进行格式转化，生产易于入库和读取的标准格式数据；所述数据转存模块位于分布式消息中间件模块和数据存储模块之间，主要作用是将订阅的消息转换为适合进入数据库的格式，按照指定的分片策略入库；数据存储模块包括关系型数据库、非关系型数据库、高速缓存数据库、应用数据库；所述数据存储模块包含三个引擎模块：文档型数据库子模块、关系型数据库子模块和服务高速缓存子模块，其中，所述服务高速缓存数据库同样被设计为非结构化的数据库类型，并且为了追求速度最大化，使用了物理内存做为缓存的主存储体；服务应用与管理模块包括基础服务和服务管理框架。