[发明专利]具有数据监控功能的海量数据平台

摘要

本发明公开了具有数据监控功能的海量数据平台，包括数据采集模块：从各类数据源收集数据到数据处理中心，数据处理模块：针对所述数据采集模块中采集到的经过初步加工的数据进行解码和格式转换，数据存储管理模块：针对经过所述多维数据集处理模块处理的数据进行存储管理；数据服务模块：将所述数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，数据监视模块：包括接收模块、解析模块、存储模块、对比模块和输出模块。本发明数据监控通过与数据采集模块、数据处理模块和数据服务模块的信息交换，实时监控海量数据整个数据流程，并实时反映给用户，降低海量数据的出错率。

主权项

具有数据监控功能的海量数据平台，其特征在于，包括：数据采集模块：从各类数据源收集数据，针对所收集的各类数据进行初步加工，即格式检查和标准化处理；数据处理模块：针对所述数据采集模块中采集到的经过初步加工的数据进行解码和格式转换，生成标准格式的数据产品，设置每个数据的质量控制码，生成带有质量控制码的标准格式数据产品；对部分实时和非实时海量数据进行选取、融合以及统计加工，生成处理后的数据；数据存储管理模块：针对经过所述数据处理模块处理的数据进行存储管理；数据服务模块：将所述数据存储管理模块存储的数据与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理；数据监视模块：包括接收模块、解析模块、存储模块、对比模块和输出模块，所述接收模块将数据采集模块、数据处理模块和数据服务模块的数据处理信息接收，传输给解析模块，解析模块将接收到的信息解析得到相应的数据信息和监控信息，解析模块将解析后的数据信息和监控信息打包传输给存储模块进行保存，对比模块内置有原始数据，将存储模块中的数据与原始数据进行对比，符合要求的数据将会被传输至输出模块供用户查看。