[发明专利]数据的处理方法和装置

说明书

本发明公开了一种数据的处理方法和装置。其中，该方法包括：接收到写请求，其中，写请求用于请求向存储区的数据容器中的任意一个或多个数据带写入数据；在存储区的数据容器中的任意一个或多个数据带的数据都对齐的情况下，生成校验码；将数据和校验码进行持久化处理。本发明解决了由于现有技术中在写入数据的过程中存在不对齐数据的情况，现有技术一般采用读改写或填充无效数据的方式来处理，存在复杂空洞的技术问题。

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种数据的处理方法和装置。

背景技术

分布式系统的存储规模正在变得越来越大，而分布式系统中的设备错误也是一个不容忽视的问题。因此数据的存储成本与可靠性都是分布式系统设计时需要考虑的因素。纠删码可以在保证与其同样的数据可靠性的前提下，最小化系统的存储开销。

目前业界分布式系统中的实现方式通常为采用异步编码的方法，也即先将数据以多副本方式存储，并在后台采用一定的策略转换成纠删码方式存储，这种方式存在着将流量放大以及存储空间占用率偏高的问题；另一方面，由于纠删码文件需要使用对齐的数据来计算校验数据，而用户的写请求的大小往往是随机的，因此如果采用将数据直接写入纠删码文件时常常需要添加填充数据，这使得系统占用了冗余的存储空间，并且引入了存储空间的有效数据管理问题。

针对上述由于现有技术中在写入数据的过程中存在不对齐数据的情况，现有技术一般采用读改写或填充无效数据的方式来处理，存在复杂空洞的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据的处理方法和装置，以至少解决由于现有技术中在写入数据的过程中存在不对齐数据的情况，现有技术一般采用读改写或填充无效数据的方式来处理，存在复杂空洞的技术问题。

根据本发明实施例的一个方面，提供了一种数据的处理方法，包括：接收到写请求，其中，写请求用于请求向存储区的数据容器中的任意一个或多个数据带写入数据；在存储区的数据容器中的任意一个或多个数据带的数据都对齐的情况下，生成校验码；将数据和校验码进行持久化处理。

可选的，在存储区的数据容器中的数据都对齐的情况下，生成校验码之前，该方法还包括：判断存储区的数据容器中的任意一个或多个数据带是否处于写满的状态；如果存储区的数据容器中的任意一个或多个数据带未处于写满的状态，确定存储区的数据容器中的数据没对齐；如果存储区的数据容器中的任意一个或多个数据带处于写满的状态，确定存储区的数据容器中的数据都对齐。

进一步地，可选的，在确定存储区的数据容器中的数据没对齐之后，该方法还包括：将数据写入存储区，其中，如果监测到数据中的第一部分数据已经写入存储区，则将未写入的第二部分数据写入存储区；如果检测到写入数据之后的存储区的数据容器中，仍旧存在处于未写满状态的第一数据带，则按照预定规则对第一数据带进行填充处理，直至第一数据带处于写满的状态。

可选的，允许填充处理的部分不执行持久化处理。

可选的，如果请求对不同的数据带执行写请求，允许并行处理每个数据带中数据的持久化处理。

可选的，如果检测到写入数据之后的存储区的数据容器不需要进行填充，且数据处于临时缓存的状态，则删除数据。

可选的，在接收到写请求之后，该方法还包括：判断存储区是否已经存在数据；如果是，确定写请求之前写入的内容存在未对齐的数据；如果不是，则判断存储区的数据容器中的任意一个或多个数据带数据是否都对齐。

进一步地，可选的，如果写请求之前写入的内容存在未对齐的数据，则采用写请求的数据来填充未对齐的数据，并计算校验码。

可选的，在将数据和校验码进行持久化处理之后，该方法还包括：判断写请求中是否存在剩余数据，其中，剩余数据用于表征写请求中未写入任意一个或多个数据带的数据；如果存在，则返回执行生成校验码的步骤；如果不存在，则请求结束。