[发明专利]基于Hbase数据库的数据写入方法及装置

说明书

本发明公开了一种基于Hbase数据库的数据写入方法及装置，该方法包括：将该获取的线程的识别码和该生成的行主键列表作为基准数据，将该缓存内存中存储的数据记录、该存储的数据记录对应的行主键值、存储的线程的识别码和存储的行主键列表写入该数据库中的分布式文件系统中，并在写入完成后，将存储于该缓存内存中的线程的识别码和行主键列表作为待比对数据，将该基准数据与该待比对数据进行比对，若比对结果为存在有数据记录未写入该数据库的分布式文件系统中，则重新将该待写入文件写入该数据库中，这样确保数据存储的完整性，同时相比于以日志文件的方式记录，本发明利用行主键列表来比对，占用系统资源很小，进而不会影响数据存储效率。

技术领域

本发明属于数据存储领域，尤其涉及一种基于Hbase数据库的数据写入方法及装置。

背景技术

目前云存储系统多采取分布式存储的方法，将数据分散存储在多台独立的设备上，一方面完善了数据库的性能，提高了数据的读取效率；另一方面由于分布式存储结构，在有存储设备故障发生时，只会影响局部数据的存取，而不会使整个数据库瘫痪，进而增加了大数据的安全性和可靠性。Hadoop数据库(HBase，Hadoop Database)是一种分布式存储系统。虽然HBase数据库可以避免在存储设备发送故障时，不会影响数据库中全部数据的存取，但是无法避免在数据写入过程中产生故障，进而导致无法通过索引查询到目标数据。

现有技术中，预写式日志WAL(Write Ahead Logging)是确保数据完整性的标准方法。在数据库崩溃的情况下，通过WAL预先存储的日志来恢复数据库。预先存储的日志需要记录每一次的存储过程，故日志会占用系统大量存储资源，同时占用系统的I/O资源，一旦存储的数据量增多，必会降低数据存储的效率。

发明内容

本发明提供一种基于Hbase数据库的数据写入方法及装置，旨在解决因现有技术中预先存储的日志占用系统大量资源而导致降低数据存储效率的问题。

本发明提供的一种基于Hbase数据库的数据写入方法，包括：从线程中获取待写入文件对应的数据记录、所述数据记录对应的行主键值以及所述线程的识别码，并生成包含有所述数据记录与所述行主键值之间的对应关系的行主键列表，同时将所述获取的线程的识别码和所述生成的行主键列表作为基准数据；将所述获取的数据记录、所述获取的数据记录对应的行主键值、所述获取的线程的识别码和所述生成的行主键列表写入数据库中的缓存内存中；将所述缓存内存中存储的数据记录、所述存储的数据记录对应的行主键值、存储的线程的识别码和存储的行主键列表写入所述数据库中的分布式文件系统中，并在写入完成后，将存储于所述缓存内存中的线程的识别码和行主键列表作为待比对数据；将所述基准数据与所述待比对数据进行比对，若比对结果为存在有数据记录未写入所述数据库的分布式文件系统中，则重新将所述待写入文件写入所述数据库中。

本发明提供的一种基于Hbase数据库的数据写入装置，包括：获取模块，用于从线程中获取待写入文件对应的数据记录、所述数据记录对应的行主键值以及所述线程的识别码，并生成包含有所述数据记录与所述行主键值之间的对应关系的行主键列表，同时将所述获取的线程的识别码和所述生成的行主键列表作为基准数据；处理模块，用于将所述获取的数据记录、所述获取的数据记录对应的行主键值、所述获取的线程的识别码和所述生成的行主键列表写入数据库中的缓存内存中；所述处理模块，还用于将所述缓存内存中存储的数据记录、所述存储的数据记录对应的行主键值、存储的线程的识别码和存储的行主键列表写入所述数据库中的分布式文件系统中，并在写入完成后，将存储于所述缓存内存中的线程的识别码和行主键列表作为待比对数据；所述处理模块，还用于将所述基准数据与所述待比对数据进行比对，若比对结果为存在有数据记录未写入所述数据库的分布式文件系统中，则重新将所述待写入文件写入所述数据库中。