[发明专利]一种数据查询方法和系统

说明书

本说明书的其中一些实施例公开了一种数据查询方法和系统。所述数据查询方法包括：获取磁盘中有效的文件列表，所述有效的文件列表包括至少一个文件；获取所述至少一个文件对应的信息摘要；根据所述信息摘要查询所述至少一个文件是否存在缓存的查询结果，是则获取所述查询结果；否则查询所述信息摘要对应的文件并将该查询结果进行缓存。本说明书的其中一些实施例还公开了数据删除的方法，某条数据删除时将该条数据打上删除标记，并不真正删除文件中的原始数据。本说明书的其中一些实施例还公开了文件合并的方法，只有当记录数超过阈值时，才进行文件合并，文件合并的频率较低。

技术领域

本说明书涉及数据处理领域，特别涉及一种数据查询方法和系统。

背景技术

随着信息分享技术的快速发展和普及，软件系统的用户访问量大幅度提升。访问用户的增加使得查询条件越来越复杂，数据需求量也越来越大。为了提高用户的访问速度并降低后端服务器的压力，在数据库、磁盘等慢速系统或设备的前端，一般采用缓存技术，利用内存等访问速度较快的设备存储用户经常访问的数据。但是多维度的在线查询，通常会涉及到大量的数据读取与在线计算，尤其当数据存储在磁盘上时，还需要从磁盘上调取数据，这对服务器的负载和响应耗时都构成了极大的考验。

因此，希望提供一种可以在不降低时效性的基础上，提升查询效率、减少资源消耗的数据查询方法。

发明内容

本说明的其中一个实施例提供一种数据查询方法。该数据查询方法包括：获取磁盘中有效的文件列表，所述有效的文件列表包括至少一个文件；获取查询条件，并基于所述查询条件在所述至少一个文件的缓存中获取所述至少一个文件的信息摘要；根据所述至少一个文件的信息摘要判断所述至少一个文件是否变化，当所述至少一个文件未变化则获取所述至少一个文件缓存的查询结果；否则查询所述信息摘要对应的文件并将该查询结果进行缓存；过滤所述查询结果中标记删除的数据记录。在一些实施例中，所述至少一个文件的信息摘要可以利用信息摘要算法确定。

本说明的其中一些实施例还公开了一种文件合并的方法。该文件合并方法包括：在接收到数据更新请求时，先将数据更新信息写入内存；当所述内存中更新信息的记录数等于第一阈值时，将所述内存中记录的所述更新信息序列化到磁盘；当所述磁盘中文件的个数达到第二阈值，且所述文件的所述更新信息的记录数满足设定的合并条件时，将所述文件合并写入所述磁盘；清理所述磁盘中合并文件对应的原始数据文件，并将所述合并文件纳入所述文件列表。

在一些实施例中，本说明提供的数据查询方法还可以当数据需要更新时，对待更新数据对应的记录逻辑标记删除，并将更新数据写入所述内存。

本说明的另一方面提供了一种数据查询系统，该系统包括获取模块、查找模块和数据处理模块；所述获取模块用于获取磁盘中的有效文件列表，以及至少一个文件对应的信息摘要；所述查找模块用于根据所述信息摘要查询所述至少一个文件是否存在缓存的查询结果，是则获取所述查询结果；否则查询所述信息摘要对应的文件并将该查询结果进行缓存；所述数据处理模块用于过滤所述查询结果中标记删除的数据记录，以及当数据需要更新时，对待更新数据对应的记录逻辑标记删除，并将更新数据写入所述内存。

在一些实施例中，所述数据处理模块进一步包括数据写入单元和数据处理单元；所述数据写入单元用于响应于数据更新请求将数据更新信息写入存储设备，并对所述存储设备中个数达到第二阈值且满足合并条件的文件进行合并；所述数据处理单元用于清理所述合并文件对应的原始数据文件，并将所述合并文件纳入所述文件列表。

本说明的另一方面提供一种数据查询装置，包括至少一个存储介质和至少一个处理器，其特征在于，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如前所述的数据查询方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：