[发明专利]一种数据处理方法及装置

说明书

本发明提供一种数据处理方法及装置，涉及大数据技术领域。所述方法包括：接收消费者终端发送的数据消费请求，所述数据消费请求包括信息片段标识；若根据所述信息片段标识在页面缓存中没有查询到对应的信息片段，则根据所述信息片段标识从缓存层查询对应的信息片段；将查询获得的与所述信息片段标识对应的信息片段返回给所述消费者终端。所述装置用于执行上述方法。本发明实施例提供的数据处理方法及装置，提高了数据的读取效率。

技术领域

本发明涉及大数据技术领域，具体涉及一种数据处理方法及装置。

背景技术

Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据的实时处理领域。

Kafka通过操作系统底层提供的页面缓存功能，来提高系统对文件的访问速度。对于生产者请求：服务端的I/O线程统一将请求中的数据写入到操作系统的页面缓存中后立即返回，当消息条数到达一定阈值后，Kafka应用本身或操作系统内核会触发强制刷盘操作，即将数据刷新到硬盘驱动器，进行持久化存储。对于消费者请求：当缓存代理(KafkaBroker)接收到读数据请求时，会向操作系统发送系统调用，操作系统首先从页面缓存中获取数据；如果在页面缓存中没有获取到数据，会触发缺页异常中断将数据从硬盘驱动器读入到临时缓冲区中，随后通过直接存储器访问(DMA)操作直接将数据拷贝到网卡缓冲区中等待后续的TCP传输。当Kafka支撑的实时作业数量太多时，会出现不同的消费者之间不停地竞争页面缓存资源，产生预期外的硬盘驱动器读取，导致整个Kafka集群的处理延迟上升和吞吐下降。

发明内容

针对现有技术中的问题，本发明实施例提供一种数据处理方法及装置，能够至少部分地解决现有技术中存在的问题。

一方面，本发明提出一种数据处理方法，包括：

接收消费者终端发送的数据消费请求，所述数据消费请求包括信息片段标识；

若根据所述信息片段标识在页面缓存中没有查询到对应的信息片段，则根据所述信息片段标识从缓存层查询对应的信息片段；

将查询获得的与所述信息片段标识对应的信息片段返回给所述消费者终端。

另一方面，本发明提供一种数据处理装置，包括：

接收模块，用于接收消费者终端发送的数据消费请求，所述数据消费请求包括信息片段标识；

查询模块，用于在根据所述信息片段标识在页面缓存中没有查询到对应的信息片段之后，根据所述信息片段标识从缓存层查询对应的信息片段；

返回模块，用于将查询获得的与所述信息片段标识对应的信息片段返回给所述消费者终端。

再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述数据处理方法的步骤。

又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述数据处理方法的步骤。

本发明实施例提供的数据处理方法及装置，能够接收消费者终端发送的数据消费请求，在根据信息片段标识在页面缓存中没有查询到对应的信息片段之后，根据信息片段标识从缓存层查询对应的信息片段，将查询获得的与信息片段标识对应的信息片段返回给消费者终端，在页面缓存中没有查询到对应的数据，可以从缓存层中获取对应的数据，减少从硬盘驱动器中读取数据，提高了数据的读取效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：