[发明专利]在线创建索引的实现方法

说明书

本发明公开了一种在线创建索引的实现方法，属一种数据库索引表创建方法，该方法首先根据数据库中原表索引的定义，创建与索引相对应的实体索引表；然后生成索引表的元数据信息，将索引表的状态设为“维护”，并同步索引表的状态信息到各个服务进程中，且当前状态的索引表只接受插入、删除和更新的SQL感知等；本发明以索引原表为一张单独表为前提，通过增加索引原表的“维护”状态，以分阶段维护索引的方式来实现索引表在线创建而不影响交易，且通过历史数据同步再删除无效数据的方式，确保索引表与原表的数据一致，使得SQL On HBase数据库在线创建索引的过程中无需锁表，且不依赖于临时表或日志，亦不影响数据库交易正常进行。

技术领域

本发明涉及一种数据库索引表创建方法，更具体的说，本发明主要涉及一种在线创建索引的实现方法。

背景技术

在SQL On HBase数据库上创建索引，为了保证索引和原表的数据一致性，通常是通过锁表的方式来实现，但是这样会影响实时交易。传统的关系型数据库为了做到不锁表，降低对实时交易的影响，通常会通过创建临时表、日志回放或者两次读原表的方式来创建索引。但是SQL On HBase数据库上的索引和传统数据库不同，是以表的形式存在的，所以传统数据库上的在线创建索引的方法在SQL On HBase数据库上可以参考，但不一定是最好的方式。传统数据库的创建在线索引的三种方式都能不同程度的降低对实时交易的影响，但是也存在一些缺陷。其中一种是基于临时表的在线创建索引的方案需要将原表的数据导出到临时表中，如果表比较大，对空间的要求比较高。另一种是基于日志回放的在线创建索引的方案在将表里的记录插入到索引的过程中，需要将更新的记录记入日志当中，在表里的记录扫描完毕，会重放日志当中的记录修改，并记入索引。在重放日志的最后阶段还是需要锁表，虽然减少了锁表的时间，但是还是会对交易有一定影响。还有一种是基于两次读原表的方式在线创建索引的方案，第一次扫描表前先开启事务1，拿到当前shanpshot1，扫描前还需要等待所有修改过该表的事务结束，扫描该表，创建索引，不阻塞读写，结束事务1。第二次扫描该表前需要开启事务2，拿到当前的snapshot2，再次扫描该表前还需要等待所有修改过该表的事务结束。最后更新索引结束后，还需要等待事务2之前开启的持有snapshot的事务结束。创建索引的过程需要两次扫描，三次等待。每一次扫描的过程中出现问题都会对DML有影响。因此有必要针对SQL On HBase数据库的表创建索引会影响实时交易的问题进行研究和改进。

发明内容

本发明的目的之一在于解决上述不足，提供一种在线创建索引的实现方法，以期望解决现有技术中同类数据库在线索引创建方法中的锁表，或者不锁表采用临时表、日志回放、两次读取原表等方式仍然对实时交易产生影响，不利于SQL On HBase数据库在电子商务平台中的使用等技术问题。

为解决上述的技术问题，本发明采用以下技术方案。

本发明所提供的一种在线创建索引的实现方法，方法包括如下步骤。

步骤A、根据数据库中原表索引的定义，创建与索引相对应的实体索引表。

步骤B、生成索引表的元数据信息，将索引表的状态设为“维护”，并同步索引表的状态信息到各个服务进程中，且当前状态的索引表只接受插入、删除和更新的SQL感知。

步骤C、读取扫描原表中的记录数据并同步至索引表中，且在同步过程中，如索引表中没有此前插入原表的数据，则将数据插入索引表中，反之则不做进一步处理；继续读取扫描原表，直至同步完成。

步骤D、读取扫描同步后的索引表中的数据，如索引表存在原表中不存在的数据，则作为无效数据删除，反之则继续读取扫描同步后的索引表中的数据，直至无效数据删除完成，索引表创建完成。

作为优选，进一步的技术方案是：所述步骤E、将索引表的状态更新为“有效”，并同步当前索引表的状态信息到各个服务进程中，此时查询的SQL可使用该索引。