[发明专利]一种能够减少延时的数据传输方法

说明书

本发明公开了一种能够减少延时的数据传输方法，涉及数据处理技术领域，能够解决因为对下游节点请求的确认和解析增加的系统延时。该减小延时的数据传输方法包括：上游节点向下游节点发送数据发送请求；所述下游节点获取所述数据发送请求，向所述上游节点发送所需数据内容；所述上游节点接收、调取并向所述下游节点发送所述所需数据内容。本发明应用于分布式计算系统中上下游节点之间的数据传输。

技术领域

本发明涉及数据处理领域，尤其涉及一种能够减少延时的数据传输方法。

背景技术

随着信息技术的飞速发展，基于数据处理和数据分析的应用受到了广泛的欢迎和关注。大量信息源带来了数据规模的爆发式增长，因此对海量数据进行复杂计算已经远远超过单台计算机的处理能力，由此推动了对分布式系统及其关键技术的研究。分布式计算中把需要进行复杂计算的海量数据切分成小块后分交由多台计算机并行处理，并将局部计算结果整合得出最终结果。

在一般意义上的数据传输模式中，由客户端向服务器端发起资源请求，服务器端响应建立传输控制协议（Transmission Control Protocol，简称TCP）连接而后开始向客户端传输数据；但在分布式计算系统中，由于数据是实时传输的，上游数据流的传送无法由下游节点的请求来驱动，因为数据流是不间断、流速波动的数据集，下游节点无法预知上游数据流到来的时间点，不仅如此，还会因为对下游节点请求的确认和解析增加系统延时，因此，数据的传输所需时间较长。

发明内容

本发明所要解决的技术问题在于提供一种能够减少延时的数据传输方法，能够解决因为对下游节点请求的确认和解析增加的系统延时。

为解决上述技术问题，本发明采用如下技术方案：

本发明提供了一种能够减少延时的数据传输方法，该数据传输方法包括：

上游节点向下游节点发送数据连接请求；

所述下游节点获取所述数据连接请求，建立与所述上游节点的数据连接；

所述下游节点向所述上游节点发送所需数据内容；

所述上游节点调取并向所述下游节点发送所述所需数据内容。

优选的，该数据传输方法还包括：

所述下游节点在指定端口监听连接请求。

优选的，所述下游节点获取所述数据连接请求，建立与所述上游节点的连接包括：

当所述下游节点从所述指定端口监听到所述连接请求，打开对应的数据管道，建立与所述上游节点的数据连接。

优选的，所述下游节点向所述上游节点发送所需数据内容包括：

所述下游节点获取待处理任务所订阅的数据流名，向所述上游节点发送。

优选的，所述上游节点调取并向所述下游节点发送所述所需数据内容包括：

所述上游节点获取来自所述下游节点的数据流名；

所述上游节点根据所述输出数据流和下游节点的订阅关系，将所述输出数据流发送到与所述下游节点一一对应的共享内存队列上；

所述上游节点发送所述共享内存队列内的数据流。

优选的，所述上游节点调取并向所述下游节点发送所述所需数据内容之前，还包括：

所述上游节点持久化备份所述所需数据内容。

优选的，所述连接请求为数据流名。

优选的，所述下游节点在指定端口监听连接请求包括：

所述下游节点监听指定端口，并将所述指定端口加入到epoll句柄中；