[发明专利]一种数据分割方法

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种数据分割方法。

背景技术

在交易系统中，每一笔的交易都会形成一交易记录，每个交易记录中均包含多个交易属性的数据，交易记录最终会形成一存储文件，为了方便管理者对存储文件中的每一交易记录进行查看保存，需要将存储文件中的交易记录等相关数据保存于一存储服务器中，现有的将存储文件保存于存储服务器中的做法通常是加载一完整的存储文件，进而对存储文件中交易记录逐个进行写入保存，这样操作会使存储服务器占用较大的内存，严重影响存储服务器的性能，更有甚者由于存储文件过大，会导致存储服务器出现死机等问题。

发明内容

针对现有技术中存储服务器保存存储文件中的数据存在的上述问题，现提供一种旨在实现较少占用存储服务器的内存，将带待存储文件中的数据进行存储的数据分割方法。

具体技术方案如下：

一种数据分割方法，应用于存储服务器中，所述存储服务器用以对待存储文件中的数据进行存储，其特征在于，所述数据分割方法具体包括以下步骤：

步骤S1、判断所述待存储文件是否满足一预设分割条件；

若是，执行步骤S2；

若否，直接对所述待存储文件中的数据进行保存并退出；

步骤S2、按照一预设的分割规则对所述待存储文件进行分割以形成多个处理子文件，并对应生成每个所述处理子文件的分割状态信息；

步骤S3、根据所有的所述处理子文件对应的所述分割状态信息，判断所有的所述处理子文件是否均分割失败；

若是，返回所述步骤S1；

若否，执行步骤S4；

步骤S4，在分割成功的所有所述处理子文件中，以N个所述处理子文件为一处理周期，依次将所述处理文件中的数据进行保存。

优选的，所述预设分割规则为按照一预设大小对所述存储文件进行分割以形成大小相等的所述处理子文件。

优选的，所述预设分割规则为按照一预设行数对所述存储文件进行分割以形成行数相等的所述处理子文件。

优选的，所述步骤S2中，每个所述处理子文件的所述分割状态信息包括，文件名、分割成功或者分割失败对应的标识、数据起止行数。

优选的，所述存储服务器提供一数据库，所述数据库用以保存每个所述处理子文件的所述分割状态信息。

优选的，所述步骤S4中执行完成后还包括：

步骤S5、判断所有分割成功的所述处理子文件是是否全部处理完毕：

如是，退出；

如否，执行步骤S6；

S6，对剩余的所述处理子文件中的数据依次进行保存，并返回步骤S5。

优选的，提供一监听程序，所述监听程序用以判断每一个所述处理周期执行的时间是否超过一第三预设阈值；

并在超过所述第三预设阈值时退出结束对当前的所述处理子文件的数据的保存。

优选的，所述N为3或4或5。

优选的，所述步骤S4中，对所述处理子文件中的数据进行保存的方法包括：

步骤A，对所述处理子文件进行解析，以获取解析出的数据；

步骤B，将当前的所述处理子文件中解析出的数据，保存至所述数据库中；

步骤C，在当前的所述处理子文件中的所有数据保存完成后，形成一录入状态标识并保存于所述数据库中，所述录入状态表示当前的所述处理子文件中的所有数据保存完整。

在一种较优的实施方式中，所述待存储文件为EXCEL格式的文件。

上述技术方案具有如下优点或有益效果：可对待存储文件进行分割进行形成处理子文件，存储服务器可将分割成功的所有处理子文件中，以N个所述处理子文件为一处理周期，依次将处理文件中的数据进行保存，克服了现有技术中将整个存储文件中的数据进行保存带来的存储服务器内存占用较大，影响存储服务器性能，更有甚者由于存储文件过大，会导致存储服务器出现死机等缺陷。

附图说明

参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。

图1为本发明一种数据分割方法的实施例的流程图；

图2为本发明一种数据分割方法的实施例中，关于判断处理子文件是否处理完毕的方法的流程图；

图3为本发明一种数据分割方法的实施例中，关于对处理子文件中的数据进行保存的方法的流程图。

具体实施方式