[发明专利]一种数据查询方法、装置、设备及存储介质

说明书

本发明公开了一种数据查询方法、装置、设备及存储介质。其中，该方法包括：根据数据查询请求生成过滤条件，并获取数据库中的目标文件；确定目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果；对目标数据块和数据库中除目标文件之外的文件，直接进行读取，得到读取结果；根据过滤条件对过滤结果和读取结果进行再次过滤，生成最终查询结果。本发明实施例的技术方案可以在数据查询的读取文件阶段根据修改操作信息对文件进行过滤，保证查询结果的正确性的同时，减少不必要的数据读取，提高查询性能。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据查询方法、装置、设备及存储介质。

背景技术

分布式数据库中事务表的一种常用的存储方式是增量存储。原始版本的数据存储在基础文件中。每一次事务操作的增删改相关的数据，会作为新的版本存储在一个增量文件中。在读取事务表中的一行时，需要合并所有版本的数据来获取事务表中的当前行的实际内容。因此，数据库在检测到用户的查询请求时，先读取每一个基础文件和增量文件的所有内容。然后根据用户的查询请求生成的过滤条件对结果进行过滤，过滤不满足过滤条件的数据，生成用户需要的结果。在查询过程中，会进行大量不必要的数据读取，降低了数据库的查询性能。

现有技术中，在数据库查询中，常用的性能提升方式是在读取文件内容的阶段进行过滤。通常可分为两种过滤方式：1)整块过滤，2)逐行过滤。一个文件可分为多个数据块，每个数据块又包含多行。通常会优先尝试将整块过滤掉，使用描述每个数据块的整体情况的统计信息，来判断过滤条件的取值。如果过滤条件的取值为假，则表示块中没有行满足过滤条件，可以忽略这个数据块；如果过滤条件的取值有可能为真，则表示块中可能有满足条件的行，需要读取这个数据块。在不能忽略的数据块上使用逐行过滤，先读取一行中与过滤条件相关的数据列上的内容，用来判断过滤条件是否满足，从而决定能否可以忽略这一行。

发明人在实现本发明的过程中，发现现有技术存在如下缺陷：由于增量文件中的内容仅表示当前版本的信息，不能确认是否有其他版本的存在以及内容。进行查询时，需要将基础文件和所有版本的增量文件按内部行号进行合并，生成每行事务表的实际内容。如果直接将过滤条件直接作用在读取每一个基础文件和增量文件的内容的阶段，将无法确认每行事务表的实际内容，可能会生成错误的查询结果。

发明内容

本发明提供一种数据查询方法、装置、设备及存储介质，可以在数据查询的读取文件阶段根据文件信息进行过滤，保证查询结果的正确性的同时，减少不必要的数据读取和合并操作，提高查询性能。

第一方面，本发明实施例提供了一种数据查询方法，包括：

当检测到数据查询请求时，根据数据查询请求生成过滤条件，并获取数据库中的目标文件，其中，目标文件包括基础文件，或者基础文件和第一增量文件；第一增量文件为仅包括增加操作信息的增量文件；

确定目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；

根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果；对目标数据块和数据库中除目标文件之外的文件，直接进行读取，得到读取结果；

根据过滤条件对过滤结果和读取结果进行再次过滤，生成最终查询结果。

第二方面，本发明实施例还提供了一种数据查询装置，包括：

目标文件获取模块，用于当检测到数据查询请求时，根据所述数据查询请求生成过滤条件，并获取数据库中的目标文件，其中，目标文件包括基础文件，或者基础文件和第一增量文件；所述第一增量文件为仅包括增加操作信息的增量文件；

影响范围确定模块，用于确定所述目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；