[发明专利]数据存储表的数据写入方法、分区服务器及电子设备

说明书

本申请提供了一种数据存储表的数据写入方法、分区服务器及电子设备。该方法包括：拦截客户端发送的数据写入请求，数据写入请求中携带行键及与行键对应的至少一个列值；改写数据写入请求，并基于改写后的数据写入请求生成源数据及至少一个索引数据；将至少一个索引数据及源数据写入数据存储表，数据存储表包括按列值排序的至少一个索引数据子表及按行键排序的源数据子表。本申请将源数据和索引数据在一个表中进行存储，在通过源数据和索引数据能够实现一级索引和二级索引功能的同时，便于数据读写、数据迁移等情况下的数据管理，保证数据的一致性不被破坏，有效提高数据存储的可靠性。

技术领域

本申请涉及数据处理技术领域，具体而言，本申请涉及一种数据存储表的数据写入方法、分区服务器及电子设备。

背景技术

伴随互联网信息技术的高速发展及深层次应用，数据的存储量呈现爆炸式增长，云计算与分布式系统成为了大数据量处理的主要趋势。其中，分布式数据库为结构化的大数据提供了高性能、高可靠性、易扩展的读写功能，在大型互联网公司中得到了广泛的应用，包括现常用来存储海量数据的HBase数据库等。

实际应用中，如图1所示，HBase的数据表是rowkey(行键)有序的，通过rowkey可以很快的定位到数据，这称之为“一级索引”。现有技术中，还可以采用社区开源的phoenix实现针对列的“二级索引”，如图2所示，其方案是通过在HBase数据表的基础上构建另一张对应的HBase表(图2中以col2列为例)，索引列的value(列值)和原rowkey被反向插入新构建的HBase表中，使得索引列有序，从而能够根据索引列快速查询rowkey，以便在图1中通过rowkey快速定位到数据。

但是，这种方式的二级索引的实现有一个显而易见的缺点：需要在原HBase数据表的基础上多出一张索引HBase表，这导致了读写时操作这两张表格的难度加大，索引数据和原数据的一致性很难得到保障。并且即使能在读写时准确操作这两张表格，也很难避免迁移等外部操作会破坏其原有的对照依赖关系。

发明内容

为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：

第一方面，本申请提供了一种数据存储表的数据写入方法，该方法包括：

拦截客户端发送的数据写入请求，所述数据写入请求中携带行键及与所述行键对应的至少一个列值；

改写所述数据写入请求，并基于改写后的数据写入请求生成源数据及至少一个索引数据；

将所述至少一个索引数据及所述源数据写入数据存储表，所述数据存储表包括按列值排序的至少一个索引数据子表及按行键排序的源数据子表。

在一个可能的实现方式中，所述拦截客户端发送的数据写入请求，包括：

当判断出所述数据存储表包含索引架构时，拦截客户端发送的数据写入请求。

在一个可能的实现方式中，所述改写所述数据写入请求，包括：

调用预注册的数据写入函数来改写所述数据写入请求，所述数据写入函数定义了通过预定格式生成所述源数据及所述至少一个索引数据。

在一个可能的实现方式中，所述数据写入请求中携带数据预写入的目标分区，基于改写后的数据写入请求生成任一索引数据，包括：

确定所述目标分区的起始行标识，并确定列值对应的列族名称；

根据所述起始行标识、所述列族名称、所述列值、所述行键，按照预定的拼接顺序生成所述任一索引数据。

在一个可能的实现方式中，所述数据写入请求中携带数据预写入的目标分区，所述将所述至少一个索引数据及所述源数据写入数据存储表，包括：

将对所述至少一个索引数据及所述源数据的写入操作记录到日志文件；