[发明专利]数据切分的传输方法及装置

说明书

技术领域

本申请涉及数据传输的方法，具体涉及一种数据切分的传输方法及装置。

背景技术

随着网络流量的快速成长，许多过去不容易实现的服务也可以被轻易的完成。例如：宽带的上传多媒体文件(multimedia file)。由于海量的传输仍会影响服务器的负荷量。因此在已知的多媒体服务器也会具备带宽管理(Bandwidth Manager)的功能。服务器可以透过带宽分布或缓存等方式减轻同时间的资料传输量。

此外，所述的传输方式更结合了多个实体磁盘，使得数据可以同步的写入所述磁盘中。而现有技术对数据写入磁盘的方式，是将数据同步的由来源端写入服务器中。服务器会暂存这些数据文件。之后，服务器在将这些数据文件分批的写入实体磁盘。

这种写入的方式的实现成本低廉且快速。但是数据写入的过程中若发生错误，则数据只能重新写入。因此数据重新传输的时间就会拉长，而且也会增加网络带宽的负载。此外，同一份数据文件除了要从客户端中重新载入，而且也要在服务器内部重新传输。

发明内容

本申请所要解决的技术问题在于提供一种数据切分的传输方法，避免数据文件在切分时或写入磁盘阵列时所发生的传输错误。

为了解决上述问题，本申请另揭示了一种数据切分的传输方法，包括以下步骤：侦测本地目录的数据文件是否有异动；若所述数据文件有异动，将所述数据文件置入对应的内部队列中；决定所述数据文件的切分片段的数量；从所述内部队列中取得所述数据文件，并根据所述切分片段的数量对所述数据文件进行切分，并记录切分信息；根据所述切分信息读取所述切分片段，并将每一切分片段依序写入目标文件中。

进一步包括判断所述数据文件的异动数据新增、数据搬移、数据修改或数据删除。

进一步地包括判断所述内部队列的服务量是否大于预设压力阀值；若所述服务量大于所述预设压力阀值时，则向至少一心跳服务器发出报警要求。

进一步包括所述心跳服务器轮流接收来自于所述控制模块的心跳要求。

进一步包括判断写入的所述切分片段的内容是否正确；若所述切分片段的内容有错误，则向至少一心跳服务器发出报警要求。

进一步包括所述心跳服务器轮流接收来自于所述控制模块的心跳要求。

进一步包括每一所述切分信息记录部分的所述数据文件的起始位置与偏移量。

进一步包括根据所述切分信息记录的部分的所述数据文件的起始位置与偏移量进行切分。

本申请还公开了一种数据切分的传输装置，包括：

扫描模块，用于侦测本地目录的数据文件是否有异动；

控制模块，用于若所述数据文件有异动，将所述数据文件置入对应的内部队列中；

工作线程模块，用于决定所述数据文件的切分片段的数量，并从所述内部队列中取得所述数据文件，并根据所述切分片段的数量对所述数据文件进行切分，并记录切分信息；以及

传输模块，用于根据所述切分信息读取所述切分片段，并将每一切分片段依序写入目标文件中。

进一步的，所述的数据切分的传输装置，还包括：报警模块，用于判断所述内部队列的服务量是否大于预设压力阀值，若所述服务量大于所述预设压力阀值时，则向至少一心跳服务器发出报警要求。

所述传输模块在读取所述切分片段，并将每一切分片段依序写入目标文件时，进一步包括：

判断写入的所述切分片段的内容是否正确；以及若所述切分片段的内容有错误，则向至少一心跳服务器发出报警要求。

与现有技术相比，本申请可以获得包括以下技术效果：

1）本申请改进数据文件的传输过程，数据文件写入时若发生错误，本申请不需重新从客户端中取得数据文件。

2）本申请若于传输数据文件的期间中发生错误，本申请可以透过至少一台心跳服务器发报给后台人员，使得后台人员可以实时的得知何项组件发生异常。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例的细部架构示意图。

图2是本申请实施例的运作流程示意图。

图3是本申请实施例装置结构示意图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。