[发明专利]一种千万级存量数据的处理、日志收集及导入数据库的方法

摘要

本发明公开了一种千万级存量数据的处理、日志收集及导入数据库的方法，包括导出千万级存量原始数据，并将其分割为多个小文件，使其批量导入数据库内，导入时通过逻辑程序收集错误日志，使其还原成原始数据格式，重新进行导入操作；数据导入中断时，通过脚本程序自动分析导入中断原因，并使脚本启动继续导入数据；通过CMSManageService.php接口记录临时数据日志，并通过新屏蔽接口将其导入数据库，导入时通过逻辑程序收集错误日志，使其还原成原始数据格式，并重新进行导入操作。本发明有效提高了海量数据的导入效率，解决了导入重复性工作量大、遇到网络请求堵塞进程终断、临时数据日志占用内存大等问题。

主权项

1.一种千万级存量数据的处理、日志收集及导入数据库的方法，其特征在于，包括：s1、导出千万级存量原始数据，并将千万级存量原始数据分割为多个小文件，使其批量导入数据库内；在导入时通过逻辑程序收集错误日志，使其还原成原始数据格式，从新进行导入操作；s2、导入数据中断时，通过脚本程序自动分析数据导入中断原因，待查到原因之后，脚本启动继续导入数据；s3、通过CMSManageService.php接口记录临时数据日志，并通过新屏蔽接口将记录数据导入数据库内；导入时通过逻辑程序收集错误日志，使其还原成原始数据格式，并从新进行导入操作。