[发明专利]服务器中的数据续传的处理方法及系统

说明书

技术领域

本申请涉及数据传输的方法及系统，具体涉及一种服务器中的数据续传的处理系统及方法。 

背景技术

随着网络流量的快速成长，许多过去不容易实现的服务也可以被轻易的完成。例如：宽带的上传多媒体文件(multimedia file)。由于海量的传输仍会影响服务器的负荷量。因此在已知的多媒体服务器也会具备带宽管理(Bandwidth Manager)的功能。服务器可以透过带宽分布或缓存等方式减轻同时间的资料传输量。 

此外，所述的传输方式更结合了多个实体磁盘，使得数据可以同步的写入所述磁盘中。而现有技术对数据写入磁盘的方式，是将数据同步的由来源端写入服务器中。服务器会暂存这些数据文件。之后，服务器在将这些数据文件分批的写入实体磁盘。 

这种写入的方式的实现成本低廉且快速。但是过去的写入方式是将上传的数据文件切分为多个切分片段。在服务器内部将这些切分片段重新组合。过去的写入技术是将每一切分片段写完后，工作线程会将字节流(I/O Stream)关闭。当下一个切分片段要接续写在数据文件后，另一个工作线程才会开启字节流。这样的处理方式虽然可以实现一次性数据写入。但多个工作线程的开关会造成写入的延迟。而且写入的过程中发生错误，会使得当前已经记录完成的数据文件随之毁损。 

因此数据重新传输的时间就会拉长，而且也会增加网络带宽的负载。此外，同一份数据文件除了要从客户端中重新载入，而且也要在服务器内部重新传输。 

发明内容

本申请所要解决的技术问题在于提供一种服务器中的数据续传的处理方法，在于解决数据文件上载至服务器的异常修复后的文件续传处理，减少网络传输的数据量。 

为了解决上述问题，本申请另揭示了一种数据切分的传输方法，包括以下步骤：将所述数据文件放置于所对应的内部队列中；取得所述内部队列中的数据文件并根据所述数据文件的文件大小决定切分数量，根据所述切分数量对所述数据文件进行切分，并得到多个切分片段；由不同的工作线程读取所述多个切分片段，并根据预先创建的目标文件的文件头将读取的所述切分片段写入所述目标文件中对应的写入位置；当发生写入异常时，根据每一个切分片段的写入进度创建对应的元数据文件，其中，所述元数据文件为包括当前写入位置或写入长度的文件；当异常修复后并再次连线进行写入时，读取每一切分片段的元数据文件；依据元数据文件所记录的位置开始写入至目标文件中。 

进一步包括所述根据所述切分数量对所述数据文件进行初始切分，得到多个初始切分片段及每个初始切分片段对应的切分点；判断所述切分片段是否位于所述内部队列的尾端；若所述切分点位于所述尾端之后，则延伸切分片段的长度，令所述数据文件的切分位置至所述切分点上；若所述切分点位于所述尾端之前，则减缩切分片段的长度，令所述数据文件的切分位置至所述切分点上。 

进一步地包括所述文件头中加入所述切分片段的时间戳、文件长度或校正码。 

进一步地所述工作线程是以并行方式把所述切分片段写入所述目标文件中。 

为了解决上述问题，本申请另揭示了一种服务器中的数据续传的处理系统包括：本地目录，用于接收客户端的数据文件；扫描模块，连接于所述本地目录，监视所述本地目录的所述数据文件是否异动；控制模块，连接于所述扫描模块，所述控制模块包括至少一内部队列，所述内部队列储存 所述数据文件，所述本地目录中的数据文件有异动时，所述扫描模块根据异动的种类的所述数据文件令所述控制模块创建新的所述内部队列或更新已知的所述数据文件的内容；上传模块，连接于所述本地目录，所述本地目录中的数据文件有异动时，所述上传模块根据异动的数据文件的文件种类将所述数据文件指派至对应的所述内部队列；至少一队列监视模块，连接于所述控制模块，所述队列监视模块取得所述内部队列中的数据文件并根据所述数据文件的文件大小决定切分数量，所述队列监视模块根据切分数量对所述数据文件进行切分，用于得到多个切分片段；多个工作线程，连接于所述队列监视模块，每一工作线程读取所述所属的切分片段，所述工作线程根据预先创建的目标文件的文件头将读取的所述切分片段写入所述目标文件中对应的写入位置；其中，当发生写入异常时，根据每一个切分片段的写入进度创建对应的元数据文件，当异常修复后并再次连线进行写入时，所述工作线程读取每一切分片段的元数据文件，所述工作线程依据元数据文件所记录的位置开始写入至目标文件中。 

进一步地队列监视模块对所监控的内部队列的数据文件根据先进先出的方式从内部队列中取出数据文件。