[发明专利]一种支持海量数据导出的方法

说明书

技术领域

本发明涉及一种计算机应用技术领域,具体地说是一种支持海量数据导出的方法。

背景技术

在移动通信中，综合资源管理系统作为网管系统的基础数据来源，需要对各种系统做各种数据接口。并且为了保证数据的准确性，需要对入网和存量的数据进行流程管控。

但是，随着管理的专业越来越多，数据越来越大，传统的对外数据提供和导出方式已经不适合目前的数据规模。

传统的数据导出，效率比较低下，配置繁琐，没有引入多进程和自动化，人工配置和人肉操作过多，并且对新需求和维护需要投入大量的工作。

在维护上，传统的代码都是面向过程的，代码可读性，可维护性，可复用性低下。现在通过对各种操作进行封装，使得代码清晰、简洁，可复用性、可读性、可维护性大幅提升。原来需要3个人做的维护，现在一个人就可以完成。

发明内容

本发明的目的是提供一种支持海量数据导出的方法。

本发明的目的是按以下方式实现的，通过perl,sh实现，使用perl面向对象编程对各种操作封装，通过读配置文件或者读系统对象模型属性表来获取相关表的字段和翻译信息。引入多线程和sql查询语句分页快速导出数据并进行翻译。并且生成各种特定的excel格式。

本发明所要解决的问题是提供一种方法能最快的导出相关联的数据，并生成指定格式。因代码是通过面向对象编写，对常用操作都进行了封装，使得后续开发速度大幅提升，并且维护简单。

本发明技术方案如下：

1.1维护一个关联关系配置文件或配置导出模型相关的xml配置文件，包含相关数据的中英文字段；

1.2每个配置文件一个结构体里描叙了对象模型自身和上下级的关系

1.3根据传入的参数初始化系统导出方式包括：A站点关联导出；B对象模型分页导出；C导出xm配置数据。

A顺序读取xml关系配置文件，对每个ConfigClass数据经过处理生成相应的导出sql语句和属性字段，根据配置判断是否插入下级关联关系；B导出系统默认查询或者修改模版,生成导出sql语句；C顺序读取xml对象模型配置文件，对每个ConfigClass数据经过处理生成相应的导出sql语句和属性字段；

1.4执行生成的sql分页语句

1.5将导出的数据根据属性信息进行翻译生成相应的文件。

步骤1.4中的sql分页语句和函数翻译是动态生成的。

步骤1.4A中的关联关系配置是可扩展的，每个对象模型可以有多个上级，也可以存在多个下级；

步骤1.4B中的默认查询或者模版是实时从数据库读获取，任何情况下导出都是最新模版数据；

步骤1.4C中的xml导出配置是可多线程分页导出，能在短的时间内导出各个专业数据，特别是数据量特别大的表，效果显著，可灵活定义线程数和页面大小。

在本发明中，定义一个对象模型名称，具有唯一性特征，说明数据的来源。

本发明的目的有益效果是：采用本发明所述方法，与现有技术相比，可以实现快速导出相关接口数据，并且快速导出关联数据或者单个数据。由于本发明采用了根据配置文件，多线程分页导出资源数据，分页依靠的是sql查询分页，翻译用的是系统配置生成的动态函数，也可人工编写函数翻译。与传统方式相比维护和执行效率上有大幅提升。但是对于大数据量的导出和翻译上面应该还有提升的空间。因为是多线程导出对系统的内存和数据库连接的使用较大。一般情况下开5-10个进程，每10万数据一个文件。

附图说明

图1是海量数据导出导出的各个模块的处理执行流程和处理过程图；

图2是当模型增加修改和需求调整需要做的调整流程图。

图3是站点导出配置表屏幕截图；

图4是带链接excel统计表屏幕截图；

图5是sql语句和中英字段屏幕截图；

图6是导出结果屏幕截图；

图7是多线程导出成标准的xml屏幕截图。

具体实施方式

分别对站点导出，xml配置导出，对象模型导出做相关配置介绍。

A:站点导出配置情况如图3所示；

对于站点导出的配置文件有如下相关属性

#对象模型名称|分页字段|关连字段|关联字段ID|是否有下级资源|作为下级资源编号|关联字段类型|导出excel表头

其中对象模型必须唯一