[发明专利]一种数据处理方法和装置

说明书

本申请实施例提供一种数据处理方法和装置。该数据处理方法包括：确定本地数据中的第一类数据，第一类数据包括冷数据和/或累积数据，累积数据为存储时间超过预定时长的数据；将第一类数据从本地存储器迁移至云存储。本申请通过将第一类数据上传至云存储，从而能够节约本地存储器的存储空间，进而能够改善系统的性能，提高用户体验。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种数据处理方法和装置。

背景技术

随着社会信息化的快速发展，如互联网+、移动互联网络等，人类行为每天都在催生着大量的数据，人类社会已步入海量数据时代。

然而，大量数据会使得系统的存储资源相对不足，进而会引起系统性能下降的问题。

发明内容

本申请实施例的目的在于提供一种数据处理方法和装置，以改善现有技术中存在的大量数据的存储造成的系统性能下降的问题。

有鉴于此，第一方面，本申请实施例提供了一种数据处理方法，该方法包括：确定本地数据中的第一类数据，第一类数据包括冷数据和/或累积数据，累积数据为存储时间超过预定时长的数据；将第一类数据从本地存储器迁移至云存储。

因此，通过将第一类数据上传至云存储，从而能够节约本地存储器的存储空间，进而能够改善系统的性能，提高用户体验。

在一个实施例中，确定本地数据中的第一类数据，包括：根据元数据，确定本地数据中的第一类数据，元数据记录有数据的属性信息。

因此，通过元数据来快速从本地海量的数据中查找到第一类数据。

在一个实施例中，第一类数据为冷数据，属性信息包括读频度或写频度，根据元数据，确定本地数据中的第一类数据，包括：根据属性信息，确定本地数据的读频度或写频度，读频度为预设时间内对本地数据的读次数，写频度为预设时间内对本地数据的写次数；在读次数小于预设读次数的情况下，确定本地数据为冷数据；或，在写次数小于预设写次数的情况下，确定本地数据为冷数据。

因此，通过元数据来快速从本地海量的数据中确定出冷数据。

在一个实施例中，第一类数据为累积数据，属性信息包括数据的创建时间，确定本地数据中的第一类数据，包括：根据属性信息，确定本地数据的创建时间；在创建时间与当前时间的间隔时间大于预设时间段的情况下，确定本地数据为累积数据。

因此，该累积数据的迁移可归档早期创建的文件，从而节约本地存储空间。

在一个实施例中，属性信息包括迁移标识，迁移标识用于表示本地数据是否迁移至云存储中，数据处理方法还包括：在第一类数据迁移完成后，将第一类数据对应的迁移标识设置为第一值，第一值表示第一类数据已迁移至云存储。

因此，通过迁移标识来记录本地数据中的已迁移的数据，从而便于对已迁移的数据进行管理。

在一个实施例中，属性信息包括数据的大小和数据在云存储中的路径信息，数据处理方法还包括：在第一类数据迁移完成后，在本地存储器删除第一类数据，并将第一类数据的大小和路径信息记录在元数据中。

因此，通过更新迁移标识来记录本地数据中的状态，从而便于对本地数据进行管理。

在一个实施例中，数据处理方法还包括：获取第一类数据的数据访问请求；根据元数据记录的第一类数据在云存储中的路径信息，将第一类数据从云存储下载到本地存储器。

因此，数据回迁对用户来说是透明的，只在触发回迁的时候等待回迁完成，从而实现了透明访问。

在一个实施例中，属性信息包括回迁标识，回迁标识用于表示第一类数据是否已经回迁至本地存储器，数据处理方法还包括：在第一类数据回迁完成后，将第一类数据对应的回迁标识设置为第二值，第二值用于表示第一类数据已回迁至本地存储器。