[发明专利]一种针对大量数据的优化储存方法

说明书

技术领域

本发明涉及一种数据的优化存储方法，具体涉及一种大量数据的优化存储方法，属于计算机数据处理技术领域。

背景技术

目前，由于数据的飞速发展，数据量越来越大，大数据的存储与查询成为很大的难题。现今云技术做为大数据和快数据的处理技术，被越来越多的应用在很多信息领域，如何根据需要来处理庞大的云数据成了自然而然的问题。处理大量数据最直接的方法是直接存入相应的数据库，这种方法对服务器性能要求高，而且如果每次使用都要到庞大的数据库中去查询所需的数据，查询速度慢，效率低，而如果只做简单的分表也无法达到理想的效果，数据库的负载仍然很大，不能快速的对数据进行定位，无法提高数据查询速度。

发明内容

发明目的：本发明的目的在于针对现有技术的不足，提供一种降低数据库负载、提高数据查询速度及利用效率的针对大量数据的优化存储方法。

技术方案：本发明提供一种针对大量数据的优化存储方法，按如下步骤进行：

S1、将经过合法性校验的数据按照一定的规则分割成小块，将每个小块的数据存入对应的表中；

S2、对步骤S1中存储数据的表进行判断，如果表中的数据达到百万量级，则将此表按照设定的时间段做为时间间隔进行数据切割，再次分割成小表存储，每个小表中只存储对应时间段内的数据。

本发明技术方案的进一步限定为，步骤S2中，所述设定的时间段为时间间隔由短到长的i个时间段，按照设定的时间段进行数据切割时，先选择第i个时间段做为时间间隔进行数据切割；数据切割之后，对生成的小表进行判断，如果还存在数据达到百万量级的表，则选择第i-1个时间段做为时间间隔再次对数据达到百万量级的表进行数据切割，循环如上操作，直至无数据达到百万量级的表存在或者设定的时间段全部使用。

进一步地，步骤S2中，所述设定的时间段为一天、一周和一个月，按照设定的时间段进行数据切割时，先选择一个月做为时间间隔进行数据切割；数据切割之后，对生成的小表进行判断，如果不存在数据达到百万量级的表，则完成此次数据存储；如果还存在数据达到百万量级的表，则选择一周时间段再次对数据达到百万量级的表进行数据切割；数据切割之后，对生成的小表进行判断，如果不存在数据达到百万量级的表，则完成此次数据存储；如果还存在数据达到百万量级的表，则选择一天时间段再次对数据达到百万量级的表进行数据切割，完成此次数据存储。

进一步地，如果再次分割成的小表中的数据超出设定的时间段的范围，则进行自动的删除。

进一步地，步骤S2中，将数据达到百万量级的表进行数据切割后，对分割的数据进行判断，如果两个及两个以上的数据单位合并后的表仍小于百万量级，则先将表进行合并，然后再存入小表。

有益效果：本发明提供的一种针对大量数据的优化存储方法，通个分时段对数据达到百万量级的表进行数据切割，对各个时间段的数据进行单独维护，解决了大量数据的累积导致数据库急速膨胀，无限扩大，查询速度慢，降低了数据利用效率等弊端，达到降低数据库负载，提高数据利用效率的效果。

附图说明

图1为本发明提供的一种针对大量数据的优化存储方法的流程图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例：本实施例提供一种针对大量数据的优化存储方法，本发明应用于云技术对大数据的接收处理中，当云服务器接收大量数据对数据进行解析后，将对数据进行优化存储，具体优化存储的方法流程图如图1所示，按如下步骤进行：

S1、将经过合法性校验的数据按照一定的规则分割成小块，将每个小块的数据存入对应的表中。

合法性校验包括对收到数据包的校验和对包中数据的校验，数据包主要是通过md5值来校验包的来源是否正确，是否为网络攻击注入包，如果数据包是合法的，将数据包进行解析，对里面的数据进行分析，是否为所需要的正确的数据。

数据分割的规则，根据数据对应的表而定，所有的数据不可能存放在一张表中，解析后的数据会有固定的标识来显示各部分数据该存在哪些表中，比如用户信息存在用户表中，网络流量信息存在网络流量所对应的表中，固定的规则即为约定好的标识。