[发明专利]数据处理方法、装置及存储介质

说明书

本发明提供一种数据处理方法、装置及存储介质。其中，数据处理方法包括：数据处理装置基于客户端发送的数据请求，分别从物理库和缓存库中获取数据请求对应的数据，通过数据比对算法，对物理库和缓存库中的对应数据进行比对，获取物理库和缓存库中的差异数据块。再根据差异数据块的差异类型，对缓存库中的差异数据块进行数据修复，使得物理库和缓存库的数据保持一致。上述方法可以快速比对出差异数据，并对差异数据进行数据修复，避免了物理库和缓存库数据不一致的问题，从而提升应用服务器的处理性能。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置及存储介质。

背景技术

随着互联网的快速发展，用户规模和数据规模越来越大，对应用服务器的性能提出更高的要求，缓存是其中一个非常关键的组件。为了保证数据访问的高效性，使用分布式缓存为应用服务器提供高性能的数据快速访问能力。

为了保证数据准确性，应用服务器通常采用物理库和缓存库数据双写的方案。然而，在应用服务器使用过程中，受到物理因素(机房断电等)、应用异常(物理存储后内存报错等)或者网络闪断(内存数据丢失)等影响，无法保证数据库和缓存数据的一致性，导致应用服务器的处理性能下降。

发明内容

本发明提供一种数据处理方法、装置及存储介质，避免数据库和缓存数据不一致的问题，提升应用服务器的处理性能。

本发明的第一方面提供一种数据处理方法，包括：接收客户端发送的数据请求；根据所述数据请求，分别从物理库和缓存库中获取所述数据请求对应的数据；通过数据比对算法获取所述物理库和所述缓存库中的差异数据块；根据所述差异数据块的差异类型，对所述缓存库中的差异数据块进行数据修复，所述数据修复用于保持所述物理库和所述缓存库的数据一致。

可选的，所述通过数据比对算法获取所述物理库和所述缓存库中的差异数据块，包括：通过内存比对memcmp算法获取所述物理库和所述缓存库中的差异数据块。

可选的，所述数据请求包括数据写入请求、数据更新请求、数据删除请求、数据查询请求的任意一种。所述通过数据比对算法获取所述物理库和所述缓存库中的差异数据块之前，还包括：确定从所述物理库和所述缓存库中获取的数据是否有数据比对记录；若所述数据无数据比对记录，则执行通过数据比对算法获取所述物理库和所述缓存库中的差异数据块的步骤。

可选的，所述确定从所述物理库和所述缓存库中获取的数据是否有数据比对记录，包括：采用布隆过滤器确定从所述物理库和所述缓存库中获取的数据是否有数据比对记录，所述布隆过滤器用于记录在预设时段内执行过数据比对的数据。

可选的，所述通过数据比对算法获取所述物理库和所述缓存库中的差异数据块，包括：对从所述物理库和所述缓存库中获取的数据进行序列化处理，分别得到第一序列化数据和第二序列化数据；通过数据比对算法从所述第一序列化数据和所述第二序列化数据中获取物理库和缓存库中的差异数据块。

可选的，所述数据请求包括全量数据核查请求，所述通过数据比对算法获取所述物理库和所述缓存库中的差异数据块，包括：按照字段对应关系，将从所述物理库中获取的数据转换成第一内存块数据，将从所述缓存库中获取的数据转换成第二内存块数据；通过数据比对算法从所述第一内存块数据和所述第二内存块数据中获取所述物理库和所述缓存库中的差异数据块。

可选的，所述通过数据比对算法从所述第一内存块数据和所述第二内存块数据中获取所述物理库和所述缓存库中的差异数据块，包括：若所述第一内存块数据和所述第二内存块数据存在不一致的情况，采用二分法将所述第一内存块数据和所述第二内存块数据对半拆分；通过数据比对算法，从拆分后的所述第一内存块数据和所述第二内存块数据中获取所述物理库和所述缓存库中的差异数据块。