[发明专利]数据处理方法及装置

说明书

本发明提供一种数据处理方法及装置，能够快速稳定地写入数据。其中，数据处理方法包括：将接收到的多笔消息转化为多个写命令加入写入批量处理中；将写入批量处理作为一批消息顺序写入预写日志文件；将预写日志文件中的消息按照消息主题类型转发到不同的消息主题文件中；记录转发位点信息，转发位点信息用于下一次转发操作时辅助定位转发起点。

技术领域

本发明涉及计算机数据存储领域，具体涉及一种数据处理方法及装置。

背景技术

当今是一个数据大爆炸的时代，实时数据处理已成为各互联网和传统IT公司关注的焦点。消息传输与存储的模型中，通常是由生产者提供数据给数据服务端存储，然后消费者从数据服务端中提取数据。在这过程中，保证数据稳定高效传输与实时快速存储显得至关重要。

现有的数据服务端的操作方法通常如下：

写入阶段：服务端对接收到的每笔消息立即进行解析，然后根据该消息所属的主题类型将其写入到对应的消息主题文件。缺点是：消息写入涉及对每笔消息的解析，导致写入速率低。从而写入多笔消息时间较长，容易受到干扰导致写入失败。

读取阶段：大多数消息传输存储模型中服务端对消息采取随机读取操作，该方案在磁盘寻道上具有较高的时间消耗，因此读取效率低。以及，少数消息传输存储模型中，在客户端中记录每次消费操作时的消费水位线，但是该记录是存储在客户端中，有操作不便的缺点。

发明内容

有鉴于此，本发明提供一种数据处理方法及装置，能够快速稳定地写入数据。

为实现上述目的，根据本发明的一个方面，提供了数据处理方法，包括：将接收到的多笔消息转化为多个写命令加入写入批量处理中；将所述写入批量处理作为一批消息顺序写入预写日志文件；将所述预写日志文件中的所述消息按照消息主题类型转发到不同的消息主题文件中；记录转发位点信息，所述转发位点信息用于下一次转发操作时辅助定位转发起点。

可选地，还包括：接收消费者发出的提取请求，所述提取请求中包括消费者标识和需要查看的消息主题文件名称；根据所述提取请求，从所述需要查看的消息主题文件中提取与所述消费者相对应的数据发送给所述消费者。

可选地，在所述根据所述提取请求，从所述需要查看的消息主题文件中提取与所述消费者相对应的数据发送给所述消费者的步骤之后，还包括：记录消费操作的消费位点信息，所述消费位点信息用于下一次消费操作时辅助定位消费起点。

可选地，所述第一接收模块接收到的多笔消息来自生产者。

可选地，所述预写日志文件、所述消息主题文件存储在磁盘中。

为实现上述目的，根据本发明的另一个方面，提供了一种数据处理装置，包括：第一接收模块，用于将接收到的多笔消息转化为多个写命令加入写入批量处理中；预写模块，用于将所述写入批量处理作为一批消息顺序写入所述预写日志文件；转发模块，用于将所述预写日志文件中的所述消息按照消息主题类型转发到不同的消息主题文件中；第一记录模块，用于记录转发位点信息，所述转发位点信息用于下一次转发操作时辅助定位转发起点。

可选地，还包括：第二接收模块，用于接收消费者发出的提取请求，所述提取请求中包括消费者标识和需要查看的消息主题文件名称；数据发送模块，用于根据所述提取请求，从所述需要查看的消息主题文件中提取与所述消费者相对应的数据发送给所述消费者。

可选地，还包括：第二记录模块，用于记录消费操作的消费位点信息，所述消费位点信息用于下一次消费操作时辅助定位消费起点。

可选地，所述第一接收模块接收到的多笔消息来自生产者。

可选地，所述预写日志文件、所述消息主题文件存储在磁盘中。