[发明专利]一种数据文件处理的方法及系统

说明书

本申请公开了一种数据文件处理的方法，调用服务器端提供的数据归档服务，启动归档任务；基于所述数据归档服务中提供的执行策略，对所述归档任务进行设置；基于设置后的所述归档任务对待归档数据进行归档，形成归档数据；将所述归档数据上传至所述服务器端的缓存存储器，使所述归档数据可经由所述服务器端迁移到与所述服务器端通信连接的光盘库中。本申请实施例通过调用服务器端提供的数据归档服务，完成待归档数据的归档和上传，并通过保存归档数据上传过程中形成的临时记录文件，使数据上传过程在中断后能够实现选择性续传。一方面，提高了数据上传效率，另一方面，又保证了分块上传的文件和整个归档数据在上传完成后的整体完整性。

技术领域

本申请涉及数据文件处理技术领域，尤其涉及一种数据文件处理的方法及系统。

背景技术

光盘存储由于其介质的可靠性，在对数据安全比较高得应用领域中，有很好得比较优势。在归档领域，目前普遍使用了光盘进行文档长久的保存，这种方式在从热存储向冷存储的迁移上取得了较好的效果，但仍存在一些不足或缺陷。具体表现为，在将客户端上的待归档数据刻录到光盘库中时，经常出现因为网络或者其他原因导致的数据上传失败，而现有技术采用的文件传输方式，在上传失败后多采取重新上传的方式，没有对文件上传效率和文件的完整性进行综合考虑。

发明内容

(一)发明目的

本申请要解决的技术问题是提供一种数据文件处理的方法，通过调用服务器端提供的数据归档服务，完成待归档数据的归档和上传，并通过保存归档数据上传过程中形成的临时记录文件，使数据上传过程在中断后，能够实现选择性续传。

(二)技术方案

为解决上述问题，本申请的第一方面提供了一种数据文件处理的方法，用于客户端，包括：

调用服务器端提供的数据归档服务，启动归档任务；

基于所述数据归档服务中提供的执行策略，对所述归档任务进行设置，所述执行策略包括时间策略、存放路径策略和归档数据选择策略；

基于设置后的所述归档任务对待归档数据进行归档，形成归档数据；

将所述归档数据上传至所述服务器端的缓存存储器，使所述归档数据可经由所述服务器端迁移到与所述服务器端通信连接的光盘库中；

其中，所述归档数据上传至所述服务器端的缓存存储器的过程中还形成有临时记录文件，所述临时记录文件用于记录有所述归档数据上传过程中形成的文件或文件块的标记信息。

一些实施例中，将所述归档数据上传至所述服务器端的缓存存储器之后，还包括：

间隔预定时间后，基于所述归档任务对新的待归档数据进行归档，形成新的归档数据；

将所述新的归档数据上传至所述服务器端的缓存存储器中；

重复上述间隔预定时间后形成新的归档数据，到将所述新的归档数据上传至所述服务器端的缓存存储器中的步骤，直到上传完毕基于所述归档任务形成的全部归档数据。

一些实施例中，将所述归档数据上传至所述服务器端的缓存存储器，包括：

当所述归档数据上传过程中形成的文件需要分块上传时，每完成一个文件块的上传后，在所述临时记录文件中记录所述文件块的块信息，所述块信息包括uploadID信息和partNumber信息；

当所述归档数据上传过程中形成的文件不需要分块上传时，在一个文件上传完成后，在临时记录文件中记录所述文件的文件名信息；

遍历所述临时记录文件中的所述块信息和所述文件名信息，滤除与所述临时记录文件中记录的所述块信息和所述文件名信息对应的所述归档数据上传过程中形成的文件或文件块；

继续上传剩下的所述文件或文件块。