[发明专利]应用于可靠传输的数据存储方法及相关装置

说明书

本申请实施例提供一种应用于可靠传输的数据存储方法及相关装置，所述方法包括：接收用于可靠传输的待传输消息；确定所述待传输消息的文件头；对所述待传输消息进行分段处理，以得到K个文件片段，所述K个文件片段的长度相同，以及确定所述K个文件片段的记录结束标识；根据所述待传输消息的文件头、K个文件片段和所述K个文件片段的记录结束标识按照预设的文件构建方法进行构建，以得到目标文件；对所述目标文件进行存储或读取时，通过对每个待传输消息最多进行一次存储或读取，减少了文件读写的次数，且为顺序读写，方便实现批量读写，提升了文件存储或读取的效率。

技术领域

本申请涉及数据处理技术领域，具体涉及一种应用于可靠传输的数据存储方法及相关装置。

背景技术

在使用网络通信进行消息的可靠传输时，需要将消息保存在文件中，以防止程序出现故障后，数据丢失的问题。目前对于长度变化很大的通用消息进行存储时，由于无法事先确定所传输消息的业务类型及长度，该消息的长度变化很大，从几个字节到几兆都有可能，我们无法将该消息字节存储在数据库的单条记录中，必须找到一种可以快速存储可变长度的文件存储格式。

目前一般采用多个文件存储的方式来解决该问题。比如，可以使用一个定长的索引文件，加上一个数据文件来实现。在索引文件中，每条记录为定长，该定长记录中有一项指向数据文件所在的偏移。在定位数据时，先在索引文件中定位记录编号，然后再根据索引文件中的指向数据文件的偏移量，再到数据文件中去读取数据，以及其它属性信息。例如，kafka等消息中间件就是采用这种模式。

以上方式能解决可靠传输的文件存储问题，但是对任意一条记录的读写，需要在索引文件和数据文件中分别读写一次，由于涉及到两个文件读写，而且对每个消息需要分别读写，磁盘磁头至少挪动两次，也不是顺序读写，根据计算机存储的常识，随机读写文件时，磁盘效率非常低下。

发明内容

本申请实施例提供一种应用于可靠传输的数据存储方法及相关装置，通过对每个待传输消息最多进行一次存储或读取，能够减少文件读写时的次数，且为顺序读写，提升了文件存储或读取的效率。本申请实施例中，记录的行号就是用于可靠传输的记录标识，使用起来简洁方便。

本申请实施例的第一方面提供了应用于可靠传输的数据存储方法，所述方法包括：

接收用于可靠传输的待传输消息；

确定所述待传输消息的文件头；

对所述待传输消息进行分段处理，以得到K个文件片段，所述K个文件片段的长度相同，以及确定所述K个文件片段的记录结束标识；

根据所述待传输消息的文件头、K个文件片段和所述K个文件片段的记录结束标识按照预设的文件构建方法进行构建，以得到目标文件；

对所述目标文件进行存储。

在一个可能的实现方式中，所述根据所述待传输消息的文件头、K个文件片段和所述K个文件片段的记录结束标识按照预设的文件构建方法进行构建，以得到目标文件，包括：

获取与所述待传输消息对应的文件构建模板；

根据所述文件构建模板对待传输消息的文件头、K个文件片段和所述K个文件片段的记录结束标识进行构建，以得到所述目标文件。

在一个可能的实现方式中，所述根据所述待传输消息的文件头、K个文件片段和所述K个文件片段的记录结束标识按照预设的文件构建方法进行构建，以得到目标文件，包括：

在文件中写入所述文件头，以得到第一中间文件；

在所述第一中间文件中，逐行顺序写入所述第一个待传输消息的K个文件片段的记录结束标识、所述K个文件片段的有效长度、所述K个文件片段的内容，以得到所述第二中间文件，若消息是最后一个消息，则确定第二中间文件为目标文件；