[发明专利]基于Hbase数据库的数据写入方法及装置

摘要

本发明公开了一种基于Hbase数据库的数据写入方法及装置，该方法包括：将该获取的线程的识别码和该生成的行主键列表作为基准数据，将该缓存内存中存储的数据记录、该存储的数据记录对应的行主键值、存储的线程的识别码和存储的行主键列表写入该数据库中的分布式文件系统中，并在写入完成后，将存储于该缓存内存中的线程的识别码和行主键列表作为待比对数据，将该基准数据与该待比对数据进行比对，若比对结果为存在有数据记录未写入该数据库的分布式文件系统中，则重新将该待写入文件写入该数据库中，这样确保数据存储的完整性，同时相比于以日志文件的方式记录，本发明利用行主键列表来比对，占用系统资源很小，进而不会影响数据存储效率。

主权项

一种基于Hbase数据库的数据写入方法，其特征在于，包括：从线程中获取待写入文件对应的数据记录、所述数据记录对应的行主键值以及所述线程的识别码，并生成包含有所述数据记录与所述行主键值之间的对应关系的行主键列表，同时将所述获取的线程的识别码和所述生成的行主键列表作为基准数据；将所述获取的数据记录、所述获取的数据记录对应的行主键值、所述获取的线程的识别码和所述生成的行主键列表写入数据库中的缓存内存中；将所述缓存内存中存储的数据记录、所述存储的数据记录对应的行主键值、存储的线程的识别码和存储的行主键列表写入所述数据库中的分布式文件系统中，并在写入完成后，将存储于所述缓存内存中的线程的识别码和行主键列表作为待比对数据；将所述基准数据与所述待比对数据进行比对，若比对结果为存在有数据记录未写入所述数据库的分布式文件系统中，则重新将所述待写入文件写入所述数据库中。