[发明专利]以目的地分析和数据去重实现数据传输优化的方法和系统

说明书

技术领域

本发明一般地涉及数据传输，具体地说，涉及通过目的地分析和数据去重实现数据传输优化。

背景技术

跨慢速或拥挤的连接传输大量数据是一个普遍的难题。如果数据传输要求的增长超过带宽的增长，则此难题将继续存在或甚至更糟。

发明内容

根据本发明的一个方面，提供一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的方法。所述方法包括在文件系统级别，在所述至少两个中间节点中的每个节点处，标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据。所述方法还包括当所述在先数据与所述被请求数据的所述至少一部分匹配时，将指向所述在先数据的至少一个指针和重构方案（recipe）传输到所述后续节点，所述重构方案用于至少基于所述至少一个指针而在所述后续节点处重构所述被请求数据。所述方法还包括将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点。

根据本发明的另一个方面，提供一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的系统。所述系统包括匹配数据部分标识器，其用于在文件系统级别，在所述至少两个中间节点中的每个节点处，标识先前发送到所述节点链中的后续节点或先前从所述节点链中的后续节点接收的与所述被请求数据的至少一部分匹配的在先数据。所述系统还包括传输设备，其用于当所述在先数据与所述被请求数据的所述至少一部分匹配时，将指向所述在先数据的至少一个指针和重构方案传输到所述后续节点，所述重构方案至少基于所述至少一个指针而在所述后续节点处重构所述被请求数据。所述传输设备还将所述被请求数据的先前未发送到所述后续节点或未由所述后续节点接收的其它部分传输到所述后续节点。

根据本发明的另一个方面，提供一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的方法。所述方法包括在多个分块级别对文件进行分块。所述方法还包括在所述多个分块级别中的每个级别处，生成用于在所述节点链中的后续节点处重构所述文件的相应重构方案以及用于存储所述文件的块的相应块存档。所述方法还包括选择所述相应重构方案和与所述相应重构方案对应的所述块存档，所述相应重构方案和所述块存档导致将最少量的数据传输到所述后续节点。所述方法还包括将所选择的重构方案和所选择的块存档传输到所述后续节点。

根据本发明的另一个方面，提供一种用于在从源节点到目的地节点且通过至少两个中间节点的节点链上传输被请求数据的系统。所述系统包括数据分块器，其用于在多个分块级别对文件进行分块。所述系统还包括重构方案和块存档生成器，其用于在所述多个分块级别中的每个级别处，生成在所述节点链中的后续节点处重构所述文件的相应重构方案以及存储所述文件的块的相应块存档。所述重构方案和块存档生成器还选择所述相应重构方案和与所述相应重构方案对应的所述块存档，所述相应重构方案和所述块存档导致将最少量的数据传输到所述后续节点。所述系统还包括传输设备，其用于将所选择的重构方案和所选择的块存档传输到所述后续节点。

从以下将结合附图阅读的对本发明的示例性实施例的详细描述，这些和其它特性和优点将变得显而易见。

附图说明

本公开将参考附图，在以下对优选实施例的描述中提供详细信息，这些附图是：

图1示出了根据本发明的一个实施例的可以应用本发明的示例性处理系统100；

图2示出了根据本发明的一个实施例的通过目的地分析和数据去重实现数据传输优化的示例性系统200；

图3示出了根据本发明的一个实施例的可以应用本发明的节点的示例性网络300；

图4示出了根据本发明的一个实施例的通过目的地分析和数据去重实现数据传输优化的示例性方法400；以及

图5示出了根据本发明的一个实施例的通过目的地分析和数据去重实现数据传输优化的另一个示例性方法500。

具体实施方式

本发明涉及通过目的地分析和数据去重的数据传输优化。本发明通过战略性地在中间节点处维护数据仓库，减少数据重新传输。当用户希望在两个节点之间传输数据时，将检查以查看是否在更靠近接收者的节点处已经存在该数据的一部分或全部。在一个实施例中，然后仅发送以下项：（1）未存在于合适的中间节点上的数据；以及（2）组装原始数据所需的指令。此策略将提高传输速度并降低传输成本。应该指出，优选实施例消除在节点之间同步数据库的需要。