[发明专利]一种基于服务数据的数据仓库创建方法及数据仓库

说明书

本发明公开了一种基于服务数据的数据仓库创建方法及数据仓库，包括：在所述数据仓库创建多个相关数据层；基于预设算法，对各层数据加工与处理进行初始化；采集服务数据；基于上述初始化，对所述服务数据进行加工与处理。本发明可对多数据源进行整合、对数据进行建模加工，并设置有统一的数据标准，为基于服务数据的数据仓库创建提供良好的解决方案。

技术领域

本发明涉及大数据技术领域，具体涉及一种基于服务数据的数据仓库创建方法及数据仓库。

背景技术

随着计算机存储能力的提升和复杂算法的发展，近年来网络数据量成指数级增长，科学数据处理、商业智能数据分析等具有海量数据需求的应用变得越来越普遍，传统的Oracle(mysql)+sql技术架构已不能满足大数据处理要求，对于数据仓库的搭建，业界比较常用的是分布式+ETL的方式，但是基于服务的分布式+ETL数据仓库技术却一直没有比较好的解决方案。

发明内容

针对上述现有技术中的缺陷，本发明提供一种基于服务数据的数据仓库创建方法及数据仓库，架构上分为数据采集、数据存储、数据分析、数据服务等，可对多数据源进行整合、对数据进行建模加工，并设置有统一的数据标准，为基于服务数据的数据仓库创建提供良好的解决方案。

本发明具体为：一种基于服务数据的数据仓库创建方法，其特征在于，包括：

在所述数据仓库创建多个相关数据层；

基于预设算法，对各层数据加工与处理进行初始化；

采集服务数据；

基于上述初始化，对所述服务数据进行加工与处理。

其中，所述在所述数据仓库创建多个相关数据层，包括：

创建数据存储层、数据仓库层。

其中，所述在所述数据仓库创建多个相关数据层还包括：

以所述数据仓库层为基础创建主题层、汇总层、应用层。

其中，所述采集服务数据具体包括：

采集业务系统中的服务数据，将采集的服务数据存储在所述数据存储层中。

其中，所述基于上述初始化，对所述服务数据进行加工与处理具体包括：

按照数据仓库层数据加工与处理的要求，对所述数据存储层中存储的数据进行加工与处理。

其中，所述方法还包括：

将处理后的数据存放在所述数据仓库层中。

其中，所述数据采集具体包括：

采用Flume+Kafka+Storm组合架构进行数据采集，实现对海量数据的实时处理。

其中，所述数据加工与处理包括：

对内部数据和外部数据、结构化数据和非结构化数据进行采集；

对脏数据和无效数据进行清洗；

对非结构化数据进行结构化加工；

在结构化数据的基础上进行建模和数据挖掘。

其中，按照数据仓库层数据加工与处理的要求，对所述数据存储层中存储的数据进行加工与处理，具体包括：

根据所述数据处理流程，结合所述主题层、汇总层、应用层的数据加工与处理要求，对所述数据存储层中存储的数据进行有选择的提取，将单一的数据信息转换成体系信息，将点信息数据转换成面信息数据；

所述将加工与处理后的数据存放在所述数据仓库层中，具体包括：