[发明专利]一种海量数据下的公共服务系统

说明书

技术领域

本发明属于信息技术领域，具体涉及对海量数据的处理与应用。

背景技术

现阶段，随着信息技术的不断发展，海量数据不断呈现、数据格式复杂化、数据应用多样化，数据在当前信息化建设扮演的角色愈发重要，作为数据集中管理的数据中心起着中转枢纽的作用。目前大多数数据中心存储管理的数据不能有效、便捷的为上层应用提供服务，没有真正体现出数据潜在的价值，主要由于上层应用与用户实际需求紧密贴合，与数据中心存储的数据存在部分脱节的情况，故需要在上层应用和基础数据之间搭建可以转换用户需求与数据利用的桥梁，对上为上层应用提供全面、无缝的应用服务，对下充分调用数据、挖掘数据利用价值。在这样的背景和需求之下，针对对数据中心，尤其是大数据公共服务系统的研究和应用逐渐成为各地数据中心重点关注领域。

数据中心的公共服务系统根据复用、共享、模块化的设计思想，以底层应用支撑组件作为运行的基本单元，在组件之上搭建公共服务系统，为数据中心上层应用环境提供运行和管理服务。公共服务系统采用面向服务的、流程驱动的体系架构，使用合适的平台开发工具支撑服务化的基础应用开发，为软件应用系统的开发、运行和整合提供一个基础的框架。通过采用一致结构的、基于标准服务的支撑平台技术，实现大数据下各上层应用之间的互联、互通和互操作，以及数据的安全、共享与集成。

发明内容

本发明的目的在于提供一种海量数据下的公共服务系统，通过有效挖掘、利用海量数据，通过服务目录聚合相关数据资源，整合通用公共服务组件，为上层应用提供全面性、深层次、高效率的公共服务，有效保证上层应用对底层海量数据利用的有效性、针对性和便捷性。

本发明的的设计思想是：

(1)采用面向服务架构(SOA)的方式，基于先进的企业服务总线(ESB)技术，遵循XML技术标准和规范，为跨地域、跨部门、跨平台的不同应用系统、不同数据库之间的互联互通提供包括提取、转换、传输和加载等操作的数据整合服务，实现扩展性良好的“松耦合”结构的应用和数据集成；

(2)通过分布式部署和集中式管理架构，可以有效解决各节点之间数据上传下达的及时与高效问题，在安全、方便、快捷、顺畅地进行信息交换的同时，保证数据的一致性和准确性，实现数据的一次采集、多系统共享。

(3)基于节点服务器适配器的可视化配置功能，可以有效解决数据中心应用快速搭建问题，实现不同机构、应用系统、数据库之间基于不同传输协议的数据快速交换与信息共享，为各种应用提供良好的运行管理环境。

(4)依托快速构建应用服务，通过统一的组件标准以及部署工具实现服务的应用部署，让用户迅速体验应用服务功能。基于工具软件的服务封装，实现集成化的管理和应用。

本发明的技术方案是：

一种海量数据下的公共服务系统，其特征在于：包括地理信息、视频综合、数据管理、部件运维、统一接入、全文检索、多语言和数据总线8个模块，其中：

(1)地理信息模块，采用电子地图分析展示数据中心各类重要资源点位信息、业务热点数据信息，实现对数据在空间层次上的利用，为用户提供了更为直观的展示方式和辅助决策支撑；

(2)视频综合模块，实现对各类异构视频按需进行统一整合接入，包括高清视频、标清视频、以及不同厂家不同协议的各类视频资源；同时根据业务需要进行视频资源管理、交换共享和智能分析，各类业务应用系统针对功能实现的需要提出视频公共服务的请求，系统接收到请求指令，并进行智能分析后，将服务结果反馈给业务应用系统；

(3)数据管理模块，实现对各个系统采集和产生的数据进行数据集中存储管理、数据请求响应服务并对数据库中的数据完整性、有效性、鲜活性进行实时监测，确保完成数据中心与外部数据交换共享，各项公共服务与应用系统之间的数据交换与共享；

(4)部件运维模块，实现对数据中心范围内所有软硬件其运行状态进行监测，保证平台的健壮，稳定运行，对其进行监测都统一通过调用运行状态监测服务接口来实现，部件运维公共服务前端采用B／S架构，用户通过网页来访问平台各个软硬件运行状况；

(5)统一接入模块，提供了统一服务，将单点登录、用户管理、权限管理、系统接口进行菜单式集成，为用户提供统一风格的接入服务；

(6)全文检索模块，完成各应用系统的搜索功能，主要包括抓取数据信息、建立索引数据库、索引数据库搜索及对搜索结果进行排序；

(7)多语言支持模块，为上层各业务系统内容提供多语言支持，根据用户实际需求，支持多种语言间相互翻译以及语料库的动态维护；