[发明专利]分布式文件系统列式存储的元数据更新方法、装置、主机

说明书

本发明公开一种基于分布式文件系统列式存储的元数据更新方法、装置、主机，方法包括：获取分布式文件系统的数据表中待更新的元数据，将所述数据表的数据记录按行分割为多个行组，将所述数据表转换成一个全局文件元数据，以及多个行组文件，其中，所述行组文件包括实际数据块、数据索引块、本地元数据块、元数据索引块以及文件页脚；判断所述待更新的元数据是否属于所述全局文件元数据，如果否，则：更新本地元数据；根据更新后的本地元数据，在所述多个行组文件中增加更新后的本地元数据块、元数据索引块以及文件页脚。本发明的方法实现了元数据的动态更新，大大节省了该类更新操作的执行时间及所需计算资源。

技术领域

本发明涉及数据处理领域，更具体的说是涉及一种基于分布式文件系统列式存储的元数据更新方法、装置、主机。

背景技术

Append-Only文件系统，即文件系统只支持文件的读或者追加写操作，而不像传统的文件系统一样支持文件的就地修改操作。该类文件系统具有写性能高、多副本容易保持一致性等特性，广泛应用在大规模分布式存储系统中，典型的代表实例包括GFS（GoogleFile System，Google分布式文件系统）、HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）等。在Append-Only文件系统中，列式存储较之传统的行式存储具有独特的优势，在列式存储中，数据记录按列分割并独立存储，从而相同列的数据类型相同且连续存储，大大提升了数据的压缩率，降低了为后续查询操作的数据IO，另外，各列数据分开存储，数据查询时只需扫描相关的列数据而直接过滤无关列，大幅提升该类查询的性能。

在Append-Only文件系统列式存储中，新增内容总是追加写在文件的末尾，只能以覆盖写实现，即删除现有文件，并为待更新文件生成新的文件，而不允许对文件内容的就地更新。RCFile是一种可以实现列式存储的数据存储结构，RCFile是在HDFS的基础之上设计和实现的，RFCile以行组为单位组织记录，其中，除最后一个行组外的其他行组大小相等，每个HDFS块可存储多个行组。在各行组内部，各列数据相互独立并连续存储，而元数据Metadata则保存着各列数据的位置偏移以及每个数据的字节长度等信息。数据表的可扩展标记语言架构Schema信息则保存在第三方服务器中，如MySQL、Derby等，由于数据表的Schema存储在MySQL中，通过Hive可以很方便地被修改。然而，RCFile的文件组织格式是固定的，其Metadata只保存着数据记录个数、各列所占bytes大小等简单信息，而不支持任何动态数据更新操作。

因此，现有Append-Only文件系统列式存储中，现有的实现方式不能提供有效的元数据动态修改方法，对元数据的更新操作代价极高，它需要重新生成和重写所有对应的存储文件，这对大规模数据而言，其带来的计算资源开销和时间消耗极其巨大。

发明内容

有鉴于此，本发明的目的是要解决现有Append-Only文件系统中，不能提供有效的元数据动态修改方法，对元数据的更新操作需要消耗巨大的计算资源开销和时间开销的问题，技术方案如下：

本申请的第一方面提供了一种基于分布式文件系统列式存储的元数据更新方法，所述方法包括：

获取分布式文件系统的数据表中待更新的元数据，将所述数据表的数据记录按行分割为多个行组，将所述数据表转换成一个全局文件元数据，以及多个行组文件，其中，所述行组文件包括实际数据块、数据索引块、本地元数据块、元数据索引块以及文件页脚；

判断所述待更新的元数据是否属于所述全局文件元数据，如果否，则：

更新本地元数据；

根据更新后的本地元数据，在所述多个行组文件中增加更新后的本地元数据块、元数据索引块以及文件页脚。

结合第一方面，在第一方面的第一种可能的实现方式中，

所述更新本地元数据，包括：