[发明专利]数据处理方法及处理系统

说明书

技术领域

本发明涉及一种移动经营分析管理技术，尤其涉及一种数据处理方 法及处理系统。

背景技术

随着经营分析系统在经营决策和营销管理方面起着越来越重要的 作用，其所承载的应用也日趋丰富，随之而来的是系统处理数据的压力 不断增大，现有的数据处理技术暴露出很多问题。

现有的经营分析系统，数据处理技术是传统的基于文件系统的 ETL技术。ETL是英文Extract-Transform-Load的缩写，用来描述将资 料从来源端经过抽取(extract)、转换(transform)、载入(load)至目的端的 过程。ETL是数据仓库理论中数据处理的核心环节。

传统的数据仓库ETL技术就是对数据源的数据做抽取，在文件系 统中做转换，之后再加载到数据仓库。现有的抽取技术是基于数据库的 直接文本导出，导出的文件放到主机的文件系统中；现有的转化技术是 将基于文件系统的文件做行级别的字段拆分和文件级别的关联计算，将 转换的结果再次生成文本文件放到文件系统中，由装载程序将转换的结 果装载到数据仓库。

现有技术的缺陷主要有以下几点：

1、转换效率低，系统资源消耗严重

现有的处理技术把大量的计算全部集中在转换环节，虽然基于文件 系统的转换算法相对简单，只是对字符串的拆分和关联处理，但是，当 处理海量数据时，会对磁盘数据进行频繁读写，IO吞吐过大，常常因 为系统资源消耗过大而任务运行失败，计算效率较低，而且系统资源消 耗严重。

2、转化计算压力集中，造成资源拥塞现象

现有的数据处理流程是抽取、转换、装载，转换完全集中在一个环 节完成，特别是基于话单和账单的转换，由于数据计算量过大，而基于 文件系统的转换处理无法利用索引技术，因此在关联运算时效率很低。

3、不支持多任务集群调度

现有的任务管理方式是定时启动模式，这种方式在多任务集群调度 时存在着问题，无法动态根据任务的优先级和系统资源利用情况调整任 务的执行顺序和资源分配。

发明内容

本发明的第一目的在于，针对现有技术中数据处理转换效率低、系 统资源消耗严重的缺陷，提供一种转换效率较高且能够节约系统资源的 数据处理方法。

本发明的第二目的在于，针对现有技术中数据处理转换效率低、系 统资源消耗严重的缺陷，提供一种转换效率较高且能够节约系统资源的 数据处理系统。

根据本发明的第一目的，提供一种数据处理方法，包括：

根据预设的配置文件从数据源抽取数据；

根据转换的数据量和特性，在内存中对所述抽取的数据进行行级转 换、时间字段类型转换和空值转换中至少一个转换；

将所述转换后的数据载入到数据仓库中；

根据预设的任务对所述数据仓库中的数据进行关联转换。

根据本发明的第二目的，提供一种数据处理系统，包括位于内存中 的抽取装置、第一转换装置和载入装置，及位于数据仓库侧的第二转换 装置，其中，

抽取装置，用于根据预设的配置文件从数据源抽取数据；

第一转换装置，用于根据转换的数据量和特性，对所述抽取的数据 进行行级转换、时间字段类型转换和空值转换中至少一个转换；

载入装置，用于将所述第一转换装置转换后的数据载入到数据仓库 中；

第二转换装置，用于根据预设的任务对所述数据仓库中的数据进行 关联转换。

本发明的数据处理方法及处理系统，根据转换的数据量和特性， 通过将转换效率较高、系统资源消耗小的第一转换在内存中执行，而将 其他转换效率低且系统资源消耗较大的转换在数据仓库中进行，大大减 少了内存中处理数据的切换，降低了主机I/O资源吞吐，并且，利用数 据库的索引技术，使得海量数据的关联转换效率大幅度提高。

附图说明

图1是本发明第一实施例数据处理系统的结构图；

图2是本发明第一实施例数据处理方法的流程图；

图3是本发明第二实施例数据处理系统的结构图；

图4是新旧技术系统资源消耗对比图。

具体实施方式

以下结合附图对本发明进行详细说明。