[发明专利]基于分区技术在大数据网优平台中快速分发数据的方法

说明书

技术领域

本发明涉及3G通信技术及数据库技术，尤其涉及一种基于分区技术在大数据网优平台中快速分发数据的方法。

背景技术

随着移动通信业务的飞速发展，移动通信网络优化的数量也越来越多。为了解决数据保存、性能优化的问题，需要使用一套数据库采集平台存储数据，多台数据服务器进行数据查询的解决架构。

目前，网优数据转移过程中存在数据查询时间长、数据写入慢，以及需要人力干预的不足。如何在多个数据库服务器分发大量的数据，又不会对采信平台生成较大的查询压力，也是一个当前亟待解决的问题。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于分区技术在大数据网优平台中快速分发数据的方法，对数据导入、数据处理、数据运算、数据归档等过程进行改进，以解决现有网优数据转移过程中存在的数据查询时间长、数据写入慢，以及需要人力干预的不足。

为达到上述目的，本发明的技术方案是这样实现的：

基于分区技术在大数据网优平台中快速分发数据的方法，该方法包括：

A、转移数据分区计算的步骤；

B、生成转移对象分区的步骤；

C、进行分区过滤的步骤；

D、远程导出数据的步骤；

E、并行SQLLDR数据导入的步骤。

其中，步骤A所述转移数据分区计算的步骤，是指根据转移数据的时间范围，通过数据库操作，找出需要转移数据所在的分区。

步骤B所述生成转移对象分区的步骤，具体为：将步骤A所述的分区转换为Linux Shell能处理的对象。

步骤B进一步包括实现数据转换分区的计算方法，具体为：

B1、在分发数据时，根据数据的时间值进行提取；在进行数据创建时，将数据按照时间进行严格的分段，不同时间的数据存储于不同的对象分区中；

B2、在转换数据时，输入需要分发数据的时间段，根据需要转换数据的时间，在数据分区中按照时间范围进行匹配，直到得到要转换的分区对象；

B3、将分区对象同已经完成分发数据进行比较，找出目前还没有分发的数据，交由后续分发进程进行处理。

步骤C所述进行分区过滤的步骤，具体为：根据目标数据库已经存在的数据，对需要转换的分区对象进行过滤，查询出实际需要转换的对象。

步骤D所述远程导出数据的步骤，具体为：采用数据导出工具OCIULDR将分区所在的数据导出。

步骤E所述并行SQLLDR数据导入的步骤，具体为：利用数据库工具将步骤D所述导出的数据导入目标数据库。

本发明所提供的基于分区技术在大数据网优平台中快速分发数据的方法，具有以下优点：

本发明针对网优数据转移过程中存在的问题，根据采集数据的分布情况，结合快速数据库导出、导入工作，能够快速实现数据的转移，且整个过程自动化，比一般的SQL语句提高约90%的速度。

附图说明

图1为本发明基于分区技术在大数据网优平台中快速分发数据的过程示意图；

图2为图1中转移数据分区计算的一个具体实施过程；

图3为图1中进行分区过滤的一个具体实施例；

图4为图1中利用该OCIULDR管理工具将数据导入目标数据库的一个具体实施例；

图5为图1中利用SQLLDR进行数据导入的过程实施例。

具体实施方式

下面结合附图及本发明的实施例对本发明在大数据网优平台中快速分发数据的方法作进一步详细的说明。

本发明涉及大数据网优平台中使用分区、快速在多数据库中分发数据的方法，根据数据分布，每类数据在传输时，按照ORACLE的管理最小单元：分区进行转移，减少对数据的压力。其中数据导出步骤中，使用专业的OCIULDR工具，能够比SQL查询提取的方式速度提高10倍左右。

图1为本发明基于分区技术在大数据网优平台中快速分发数据的过程示意图。如图1所示，该过程主要包括如下步骤：

步骤11：转移数据分区计算的步骤。所述转移数据分区计算，是指根据转移数据的时间范围，通过数据库操作，找出需要转移数据所在的分区。

如图2所示为转移数据分区计算的一个具体实施过程，该过程包括：

步骤111：指定数据转移的时间范围为：20130101～20130201。

步骤112：从数据库分区对象表中，提取分区。

步骤113：从数据库分区对象表中，查询分区日期范围为：20130101～20130201。