[发明专利]一种高效稳定的跨公网数据传输系统及传输方法

说明书

技术领域

本发明涉及分布式数据传输领域，特别是一种高效稳定的跨公网数据传输系统及传输方法。

背景技术

大数据时代，海量的日志数据被各种终端生成，为了对这些数据进行分析处理，各种日志收集系统应运而生。由于大多数应用场景对日志收集过程中少量数据的缺失或重复具有较高的宽容度，因此当前的各种日志收集系统都不保证数据完整性。

发明内容

为了克服一般日志收集系统数据缺失或数据重复的问题，保证数据的稳定快速传输，本发明的发明人提供一种高效稳定的跨公网数据传输解决方案，适用于对数据完整性有强烈需求的应用场景。

根据本发明的第一方面，本发明提供一种跨公网数据传输系统，其包括：数据源端、数据目的端、和元数据服务器；其中

所述数据源端，用于产生数据，将数据传输至数据目的端，并将其元数据上传到元数据服务器；

所述数据目的端，数据经过广域网络之后的目的地，接收从数据源端传输的日志数据，并将其元数据上传到元数据服务器；

所述元数据服务器，存储元数据信息、比对数据源端和数据目的端发送的元数据一致性、和发送消息完整通知。

优选地，所述数据目的端为数据存储单元。

优选地，所述数据目的端为数据中继单元。

优选地，所述数据源端为数据收集节点。

优选地，所述数据源端和所述数据目的端按照时间窗口向元数据服务器上传元数据。

优选地，元数据服务器通过比对同一个时间窗口的元数据的数据行数和字节数判断一致性。

根据本发明的第二方面，本发明提供一种跨公网数据传输方法，其包括：

S110数据源端将数据按照时间窗口发送到数据目的端，并将其元数据发送到元数据服务器；

S120数据目的端将接收到的数据的元数据发送到元数据服务器；

S130元数据服务器比对数据源端和数据目的端发送的元数据的一致性；

S141当数据目的端元数据少于数据源端的元数据，则通知数据源端重新传输数据至数据目的端；

S142当数据目的端元数据多于数据源端的元数据时，则通知数据目的端将多的数据去重；和

S150将元数据标记为可用并通知使用方。

优选地，所述元数据服务器通过比对同一个时间窗口的元数据的数据行数和字节数判断一致性。

优选地，所述数据目的端为数据存储单元。

优选地，所述数据目的端为数据中继单元。

优选地，所述数据源端为数据收集节点。

优选地，当同一个时间窗口的数据目的端元数据在预设时间段后少于数据源端的元数据，则通知数据源端重新传输数据至数据目的端。

附图说明

下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：

图1是根据本发明的一些实施方式的跨公网数据传输系统的示意图。

图2是根据本发明的一些具体实施方式的跨公网数据传输系统的示意图。

图3是根据本发明的一些实施方式的跨公网数据传输方法的流程图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

在本文中，术语“广域网(WAN，Wide Area Network)”也称远程网(long haul network)。通常跨接很大的物理范围，所覆盖的范围从几十公里到几千公里，它能连接多个城市或国家，或横跨几个洲并能提供远距离通信，形成国际性的远程网络。覆盖的范围比局域网(LAN)和城域网(MAN)都广。广域网的通信子网主要使用分组交换技术。广域网的通信子网可以利用公用分组交换网、卫星通信网和无线分组交换网，它将分布在不同地区的局域网或计算机系统互连起来，达到资源共享的目的。如因特网(Internet)是世界范围内最大的广域网。