[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

将接收到的多笔消息转化为多个写命令加入写入批量处理中；

将所述写入批量处理作为一批消息顺序写入预写日志文件；

将所述预写日志文件中的所述消息按照消息主题类型转发到不同的消息主题文件中；

记录转发位点信息，所述转发位点信息用于下一次转发操作时辅助定位转发起点；所述转发位点信息包括消费者分组中每个消费者的当前消息偏移量，和每个消费者对应的是否确认标识。

2.根据权利要求1所述的数据处理方法，其特征在于，还包括：

接收消费者发出的提取请求，所述提取请求中包括消费者标识和需要查看的消息主题文件名称；

根据所述提取请求，从所述需要查看的消息主题文件中提取与所述消费者相对应的数据发送给所述消费者。

3.根据权利要求2所述的数据处理方法，其特征在于，在所述根据所述提取请求，从所述需要查看的消息主题文件中提取与所述消费者相对应的数据发送给所述消费者的步骤之后，还包括：

记录消费操作的消费位点信息，所述消费位点信息用于下一次消费操作时辅助定位消费起点。

4.根据权利要求1至3任一项所述的数据处理方法，其特征在于，所述接收到的多笔消息来自生产者。

5.根据权利要求1至3任一项所述的数据处理方法，其特征在于，所述预写日志文件、所述消息主题文件存储在磁盘中。

6.一种数据处理装置，其特征在于，包括：

第一接收模块，用于将接收到的多笔消息转化为多个写命令加入写入批量处理中；

预写模块，用于将所述写入批量处理作为一批消息顺序写入预写日志文件；

转发模块，用于将所述预写日志文件中的所述消息按照消息主题类型转发到不同的消息主题文件中；

第一记录模块，用于记录转发位点信息，所述转发位点信息用于下一次转发操作时辅助定位转发起点；所述转发位点信息包括消费者分组中每个消费者的当前消息偏移量，和每个消费者对应的是否确认标识。

7.根据权利要求6所述的数据处理装置，其特征在于，还包括：

第二接收模块，用于接收消费者发出的提取请求，所述提取请求中包括消费者标识和需要查看的消息主题文件名称；

数据发送模块，用于根据所述提取请求，从所述需要查看的消息主题文件中提取与所述消费者相对应的数据发送给所述消费者。

8.根据权利要求7所述的数据处理装置，其特征在于，还包括：

第二记录模块，用于记录消费操作的消费位点信息，所述消费位点信息用于下一次消费操作时辅助定位消费起点。

9.根据权利要求6至8任一项所述的数据处理装置，其特征在于，所述第一接收模块接收到的多笔消息来自生产者。

10.根据权利要求6至8任一项所述的数据处理装置，其特征在于，所述预写日志文件、所述消息主题文件存储在磁盘中。