[发明专利]基于分区技术在大数据网优平台中快速分发数据的方法

摘要

本发明公开了一种基于分区技术在大数据网优平台中快速分发数据的方法，该方法包括A、转移数据分区计算的步骤；B、生成转移对象分区的步骤；C、进行分区过滤的步骤；D、远程导出数据的步骤；E、并行SQLLDR数据导入的步骤。采用本发明方法，解决现有网优数据转移过程中存在的数据查询时间长、数据写入慢，以及需要人力干预的不足。

主权项

基于分区技术在大数据网优平台中快速分发数据的方法，其特征在于，该方法主要包括：A、转移数据分区计算的步骤；B、生成转移对象分区的步骤；C、进行分区过滤的步骤；D、远程导出数据的步骤；E、并行SQLLDR数据导入的步骤；步骤A所述转移数据分区计算的步骤，是指根据转移数据的时间范围，通过数据库操作，找出需要转移数据所在的分区；步骤B所述生成转移对象分区的步骤，具体为：将步骤A所述的分区转换为LinuxShell能处理的对象；步骤B进一步包括实现数据转换分区的计算方法，具体为：B1、在分发数据时，根据数据的时间值进行提取；在进行数据创建时，将数据按照时间进行严格的分段，不同时间的数据存储于不同的对象分区中；B2、在转换数据时，输入需要分发数据的时间段，根据需要转换数据的时间，在数据分区中按照时间范围进行匹配，直到得到要转换的分区对象；B3、将分区对象同已经完成分发数据进行比较，找出目前还没有分发的数据，交由后续分发进程进行处理；步骤C所述进行分区过滤的步骤，具体为：根据目标数据库已经存在的数据，对需要转换的分区对象进行过滤，查询出实际需要转换的对象；步骤D所述远程导出数据的步骤，具体为：采用数据导出工具OCIULDR将分区所在的数据导出；步骤E所述并行SQLLDR数据导入的步骤，具体为：利用数据库工具将步骤D所述导出的数据导入目标数据库。