[发明专利]一种高效快捷的数据入库方法及设备

说明书

该发明涉及网站数据储存技术领域，尤其涉及一种高效快捷的数据入库方法及设备。包括如下步骤：(1)接收用户输入的待存储数据；(2)将数据以JSON文本的形式存储至服务器上的缓存服务器A中；(3)对缓存服务器A中的JSON文本进行解析，并将解析得到的每个字段存储至数据库的中间表中；(4)当接收到字段映射命令时，根据字段映射命令确定映射关系；(5)将中间表中的每个字段按照映射关系存储至数据库的产品表中。本技术方案可以极大的降低用户提交数据时的等待时间，并且提高数据入库环节的效率。

技术领域

该发明涉及网站数据储存技术领域，尤其涉及一种高效快捷的数据入库方法及设备。

背景技术

目前网站通常需要将海量文本数据存储到数据库表中，现有技术中的方案是使用某种编程语言来获取数据，用正则表达式匹配提取数据转化数组，再通过数组的键值与字段的映射关系直接存储到数据库中。

然而，当需要插入到数据库的内容达到一定的量级以及当数据库的记录内容达到一定的量级的时候，用户保存数据的等待时间将是十分漫长的,同时，如果出现中断(如报错等)情况需要重新存储数据，过程复杂，这对于用户的体验将是非常差的。

因此，如何实现大数据批量快速入库是本领域技术人员目前需要解决的技术问题。

发明内容

针对上述技术的不足，本发明的目的在于提供一种高效快捷的数据入库方法及设备，用以实现大数据批量快速入库。

为了达到上述目的，本发明采取的技术方案如下：

一种高效快捷的数据入库方法，包括如下步骤：

(1)接收用户输入的待存储数据；

(2)将数据以JSON文本的形式分别存储至服务器上的缓存服务器A中；

(3)对缓存服务器A中的JSON文本进行解析，并将解析得到的每个字段存储至数据库的中间表中；

(4)当接收到字段映射命令时，根据字段映射命令确定映射关系；

(5)将中间表中的每个字段按照映射关系存储至数据库的产品表中。

其中JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据，简洁和清晰的层次结构使得JSON成为理想的数据交换语言，易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。

进一步的，所述步骤(2)中缓存服务器A用以存放需要插入数据库的数据，还包括用以前端展示时读取数据的缓存服务器B。

进一步的，所述缓存服务器A中插入的数据设置为不能被用户人为清除，所述缓存服务器B的数据设置为可以被用户人为清除。

进一步的，所述缓存服务器B中的数据被清除后，其重新写入缓存的步骤如下：

1)从数据库内读取需要重新写入的数据；

2)从缓存服务器A中读取与步骤1)中对应的数据；

3)将数据库内读取的数据和缓存服务器A中读取的数据进行合并和排序，得到新的数据；

4)将步骤3)中合并和排序之后得到的新的数据再次存入当前的缓存服务器B中。

进一步的，当缓存服务器A中的数据达到设定的临界值时，通过Socket工具向缓存服务器A推送可进行入库操作并删除对应缓存数据的消息。

进一步的，所述数据入库方法的使用时机可进行设定，具体方法如下：