[发明专利]一种二级缓存数据处理方法、处理器、存储介质及系统

说明书

本发明涉及数据管理技术领域，具体提供了一种二级缓存数据处理方法，应用端通过二级缓存客户端接口对二级缓存服务端的缓存服务进行操作，二级缓存服务端包括Socket管道监听服务及基于内存和磁盘的缓存服务，监听指定socket端口并处理对应信号应用至缓存服务中；二级缓存客户端与二级缓存服务端Socket管道服务通信时，请求服务端操作的二级缓存数据信号接口，将应用端对服务端缓存操作的数据信号发送至所述服务端进行处理。与现有技术相比，本发明解决了在使用数据库字典数据作为缓存数据时，能够基于单次的数据查询操作对旧缓存进行重置操作，在可接受的延时内有效的将失效的字典缓存数据进行清除和更新。

技术领域

本发明涉及数据管理技术领域，具体提供一种二级缓存数据处理方法。

背景技术

在税务行业，随着“金税三期”、增值税发票管理系统、个人税收管理系统等各类信息化系统的开发和使用，以及人们的生活消费与互联网技术的深度融合，导致税务系统内部数据、其他部门的第三方数据和互联网涉税数据爆发式的增长。为了能够有效存储、管理和应用这些税务大数据，提高税收治理水平，全国各地税务系统纷纷引进诸如Hive、Hbase、Kudu等各类大数据组件技术。

随着大数据ETL的组件化，许多的ETL功能都已实现让用户在界面使用拖拉拽的方式连接配置ETL流程。而数据对接集成框架便是这样一个功能强大的ETL引擎，并且已实现了众多的ETL组件需求，大大降低了用户对数据进行ETL处理的门槛。作为在数据对接集成框架引擎中经常使用的缓存组件，在面临实际业务场景下，并不能满足大部分需求，这是由于在缓存数据库查询结果时，对于数据库已删除的数据无法捕获，造成已被丢弃的数据的滞留，在进行缓存查询匹配时，匹配到过时的缓存，影响了业务数据的质量。

综上所述，现有技术存在的问题是：

问题一：现有技术在缓存数据库查询结果时，对于数据库已删除的数据无法捕获，造成已被丢弃的数据的滞留，在进行缓存查询匹配时，匹配到过时的缓存，影响业务数据的质量。

问题二：现有技术在使用缓存组件时，不能够及时对失效缓存进行移除，影响其他业务组件的使用。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的二级缓存数据处理方法。

本发明进一步的技术任务是提供一种处理器、计算机可读存储介质及二级缓存数据处理系统。

本发明解决其技术问题所采用的技术方案是：

一种二级缓存数据处理方法，应用端通过二级缓存客户端接口对二级缓存服务端的缓存服务进行操作，所述二级缓存服务端包括Socket管道监听服务及基于内存和磁盘的缓存服务，监听指定socket端口并处理对应信号应用至缓存服务中；

所述二级缓存客户端与二级缓存服务端Socket管道服务通信时，请求服务端操作的二级缓存数据信号接口，将应用端对服务端缓存操作的数据信号发送至所述服务端进行处理。

进一步的，所述二级缓存服务端监听的数据信号包括二级缓存putSecondaryCache、重置二级缓存resetSecondaryCache和应用二级缓存applySecondaryCache的所有二级缓存的请求。

进一步的，所述应用端对二级缓存服务端进行缓存服务工作时，包括二级缓存、重置二级缓存和应用二级缓存操作。

进一步的，所述二级缓存数据处理方法在数据对接集成框架中的运行为：

S1、启动二级缓存服务端，对存入二级缓存putSecondaryCache、重置二级缓存resetsecondaryCache和应用二级缓存applySecondaryCache数据信号进行监听；

S2、启动二级缓存客户端服务，接收用户操作请求，将请求转成对应信号发送至服务端；