[发明专利]一种高效数据存储查询的方法及系统

说明书

技术领域

 本发明涉及一种实现移动互联网用户数据业务记录存储的方法及系统，具体涉及技术领域的是索引转义、行列二维存储及用户数据业务记录存储所涉及的系统和方法。

背景技术

随着移动互联网和智能终端的快速普及，使用移动互联网数据业务的用户越来越多，移动互联网检测需要保存用户上网记录越来越多。传统关系型数据库成本高，写入速度慢，查询时间长，难以满足日益庞大的数据存储。

发明内容

本发明的主要目的是提供一种高效数据存储查询的方法，实现移动互联网用户数据记录高速写入、大容量存储及快速提取。

本发明的主要目的是提供一种高效数据存储查询的系统，实现移动互联网用户数据记录高速写入、大容量存储及快速提取。

为了实现上述目的，本发明公开一种高效数据存储查询方法，该方法将移动互联网用户数据记录的用户手机号码、Client IP等用户关键信息快速存储，存储时采用行列二维存储方式将每个用户的多条记录存放在一起，支持将手机号码、Client IP等信息自动转义成数字或数字组合索引，实现存储数据的快速查询定位，数据只有一次写入过程，可多次读取。

为了实现上述目的，本发明公开一种高效数据存储查询系统，该系统将移动互联网用户数据记录的用户手机号码、Client IP等用户关键信息快速存储，存储时采用行列二维存储方式将每个用户的多条记录存放在一起，支持将手机号码、Client IP自动转义成数字或数字组合索引，实现存储数据的快速查询定位，数据只有一次写入过程，可多次读取。

本发明实施例的高效数据存储查询系统能够在保证数据存储质量的同时，降低数据存储成本，提高数据存储和查询效率。支持每秒5万条500字节长度的记录插入，30亿条记录查询时间小于10秒。能有效解决当前海量数据存储成本高、容量小、存取速率低问题。

附图说明：

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1 高效数据存储查询系统实现原理图

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施例进行详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

高效数据存储查询系统按照行列二维存储方式保存数据。系统根据Client IP将数据分为块和行，Client IP前24位相同的数据都写入到相同的行块中，Client IP后8位分行，分行的原则是保证一个用户的数据都保存一个行块中。然后在行块中划分列，每一列就是一个数据库表空间的一个字段，由于一个用户存在多条数据记录，很多信息是相同的，包括手机号码、Client IP、URL等，所以按列存储可以对数据做压缩存储，可以大大减小硬盘I/O及存储容量。

高效数据存储查询系统由图一所示，本系统输入数据来自移动互联网用户使用数据业务记录，系统输入信息包含用户号码、Client IP、URL等数据信息。

系统接收到写入数据，按照上述所讲的行列二维存储统一分配存储空间，保证同一用户的信息存放在相邻位置，同时将用户号码、Client IP等信息转义成索引存储在系统中，便于以后的数据精确查询。

当用户查询记录时，系统都交予查询输出功能模块处理。该模块根据用户提交的查询条件到索引表中查询，目前支持的索引包括用户号码、Client IP、用户位置等，系统在设计时充分考虑过现场实际应用中的各种可能的索引条件，因此能满足现场的大部分应用。本系统的索引都是数字或数字组合方式，可根据索引快速定位到对应的信息记录中并取出。

本系统适用于海量移动互联网的用户数据存取，可以很好的解决传统关系型数据库成本高，写入速度慢，查询时间长问题。

应当理解的是，上述针对具体实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本发明的专利保护范围应以所附。