[发明专利]一种千万级存量数据的处理、日志收集及导入数据库的方法

说明书

本发明公开了一种千万级存量数据的处理、日志收集及导入数据库的方法，包括导出千万级存量原始数据，并将其分割为多个小文件，使其批量导入数据库内，导入时通过逻辑程序收集错误日志，使其还原成原始数据格式，重新进行导入操作；数据导入中断时，通过脚本程序自动分析导入中断原因，并使脚本启动继续导入数据；通过CMSManageService.php接口记录临时数据日志，并通过新屏蔽接口将其导入数据库，导入时通过逻辑程序收集错误日志，使其还原成原始数据格式，并重新进行导入操作。本发明有效提高了海量数据的导入效率，解决了导入重复性工作量大、遇到网络请求堵塞进程终断、临时数据日志占用内存大等问题。

技术领域

本发明涉及一种千万级存量数据的处理、日志收集及导入数据库的方法，属于海量数据处理技术领域。

背景技术

系统之间在对接数据的时候，数据之间的格式，数据字段，长度命名各不同。需要关联起来，就必须通过脚本导入的方式，将数据导入到对接系统当中；在这过程中，往往数据量很大，就需要从逻辑判断，性能分析、导入效率等方面，考虑方案的可行性。

目前在进行海量数据导入时，存在许多不足之处：（1）在进行千万级存量数据导入过程中，当出现导入错误时，进程会终断，需要分析错误原因并重新开始导入，重复性工作量大，导入效率低；（2）在导入过程中，会遇到网络请求堵塞问题，导致进程终断；（3）服务器的性能低，临时数据日志占用内存大，影响导入效率；（4）导入数据执行效率低等问题。

发明内容

本发明要解决的技术问题是提供本一种千万级存量数据的处理、日志收集及导入数据库的方法，可以克服现有技术的不足。

为解决上述技术问题，本发明是通过以下技术方案实现的：一种千万级存量数据的处理、日志收集及导入数据库的方法，包括：

s1、导出千万级存量原始数据，并将千万级存量原始数据分割为多个小文件，使其批量导入数据库内；在导入时通过逻辑程序收集错误日志，使其还原成原始数据格式，重新进行导入操作；

s2、导入数据中断时，通过脚本程序自动分析数据导入中断原因，待查到原因之后，脚本启动继续导入数据；

s3、通过CMSManageService.php接口记录临时数据日志，并通过新屏蔽接口将记录数据导入数据库内；导入时通过逻辑程序收集错误日志，使其还原成原始数据格式，并重新进行导入操作。

前述步骤s1中，从服务器上的BOSS系统导出千万级csv格式文件，并且在服务器上设置切割命：split -l 23000000 20180704_ppv_order.csv -d a 1 ccn_import_auth_，将BOSS系统导出来的千万级数据切割成多个小文件，批量导入。

将前述BOSS系统导出来的千万级数据切割成4个以上小文件。

前述步骤s1中，在服务器上设置ccn_import_auth.php脚本程序和逻辑程序，将切割成的多个小文件通过ccn_import_auth.php脚本程序分析后，再通过逻辑程序进行逻辑判断，如果运行正确，则将数据导入到MySQL数据库中；如若发生逻辑错误，将收集、分析错误日志，并还原错误的原始数据行，生成script_auth_0.csv, script_auth_1.csv…script_auth_n.csv文件，重新进入ccn_import_auth.php脚本程序分析，再次进入逻辑程序进行逻辑判断，直到不产生错误日志为止。

前述步骤s2中，通过ccn_import_auth.php脚本程序分析数据导入中断原因，待查到原因之后，脚本启动，继续将数据导入MySQL数据库。

前述步骤s3中，在服务器上设置CMSManageService.php接口，通过CMSManageService.php接口记录临时数据日志。