[发明专利]一种可定制的业务批量导入方法

说明书

本发明涉及数据采集领域，具体提供了一种可定制的业务批量导入方法，使用开源中间件Redis和RocketMQ，自动生成Excel的模板文件，Excel解析使用的是Apache开源项目Apache POI，各业务应用单点登录进入导入数据的页面。与现有技术相比，本发明的一种可定制的业务批量导入方法，将导入功能标准化，减少与各业务应用耦合，同时实现在大量数据导入。

技术领域

本发明涉及数据采集领域，具体提供一种可定制的业务批量导入方法。

背景技术

在政务服务领域的各种应用都会面临批量数据导入的场景,以往的做法常常是设置一个导入模板,导入人员将数据整理到Excel表格中之后，在本应用系统对应的上传模块进行上传和数据处理。

以上描述的导入装置模型的实现是在各个应用中的。这样的缺点是很明显的：

1、各个应用都有多个类似的功能，标准不统一，有时同一份数据要在多个应用中导入时，数据要整理成多份，工作重复且复杂，浪费人力成本。

2、模板无法定制内容字段，以及各字段的验证规则。各应用只有在程序中设置校验规则，有的甚至缺少规则，既导致了重复的开发工作，同时当需要修改的时候，先改模板，再去改代码逻辑，极其不方便。当缺少规则的时候更是无法保证数据的质量，导入了各种垃圾数据会导致后序步骤中面临各种困难。

3、由于程序是同步处理导入的数据，当上传海量数据时，各应用本身无法处理突然增加的导入数据量；与各应用耦合度太高，该功能使用不当会严重影响原本应用的其他功能使用体验，严重甚至会导致整个应用不可用。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的可定制的业务批量导入方法。

本发明解决其技术问题所采用的技术方案是：

一种可定制的业务批量导入方法，使用开源中间件Redis和RocketMQ，自动生成Excel的模板文件，Excel解析使用的是Apache开源项目Apache POI，各业务应用单点登录进入导入数据的页面。

进一步的,将中间件Redis和RocketMQ进行集群部署，并提供对应的中间件集群服务，利用Nginx统一代理所有的接口请求，负载均衡到每个微应用，并使用Redis作为session共享的载体。

进一步的,将字段信息记忆字段校验规则更新到Redis缓存服务中，当需要生成模板或者进行字段校验时，从Redis中获取校验规则进行校验。

进一步的,字段验证后可根据配置增加额外信息，将整条业务信息写入到消息队列服务中，所有订阅了应用的能够收到本批次的消息。

进一步的,字段验证设置好规则之后，自动生成Excel的模板文件，能够预览以及下载，各业务应用单点登录进入导入数据的页面。

进一步的,下载Excel模板之后，将需要导入的数据整理到Excel文件中，在页面中进行导入操作，完成后查询导入数据状态，还能够查看被分发到的应用中。

进一步的,维护应用与模板数据的订阅关系，在数据导入时能够按规则进行业务分发，对于分发失败的数据支持定时补偿以及手动触发补偿操作。

进一步的,导入数据的页面能够下载模板以及上传数据，上传数据时，数据进入之后会进行校验，如果与预设规则不匹配，则前台页面给予提示。

进一步的,若校验通过的数据，会根据预设添加的额外内容对数据进行补充，最终把整理后的数据，根据各应用对模板的订阅关系写入到不同的消息队列中，在自己各自应用中执行相关逻辑操作。

本发明的一种可定制的业务批量导入方法和现有技术相比，具有以下突出的有益效果：