[发明专利]一种数据处理方法、数据接收设备及数据处理系统

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种数据处理方法及装置。

背景技术

实时流计算采集与处理系统为实现大规模流动数据的实时采集及处理的系统，该 系统包括数据接收端。由于条件所限，数据接收端接收的数据只能基于UDP协议进行传输， 数据传输不需要绝对的可靠且对速度和吞吐量有极高的要求，因此不能采取一些可靠性的 机制来实现数据可靠传输。由于数据采用不可靠的UDP协议进行传输，因此，减少数据在UDP 传输过程中的丢包是十分重要的。

为了减少数据在UDP传输过程中的丢包，目前的方案是：对基于UDP协议传输的数 据增加控制帧，数据发送端将加入控制帧的数据包进行封装并发送，数据接收端接收数据 发送端发送的数据包，通过数据包中的控制帧验证数据是否正确传输，如果是，则向数据发 送端返回一个数据接收确认包，否则丢弃该数据包，数据接收端发送数据包后，检测规定的 时间内是否接收到数据接收端反馈的数据接收确认包，如果否，则重发该数据包。

现有的解决方案解决了对基于UDP协议进行数据传输导致的数据丢包问题，基本 上保证了数据可以可靠到达，提高了数据传输的安全性，然而，现有的解决方案需要在发送 数据中添加控制帧，因此，增加了发送数据的数据量，另外，加入控制帧之后还需要经过封 装，验证等过程，极大的降低了数据传输的效率，这在对数据准确性没有严苛要求的场景 中，极大的降低了数据传输的效率和吞吐量。

发明内容

有鉴于此，本发明提供了一种数据处理方法、数据接收设备和数据处理系统，用以 解决现有的解决方案导致数据传输的效率和吞吐量较低的问题，其技术方案如下：

一种数据处理方法，应用于数据接收设备，所述数据接收设备设置有至少一个接 收端口，每个接收端口对应至少一个缓存队列，每个缓存队列对应一个数据集，所述方法包 括：

通过所述接收端口接收数据发送设备发送的数据；

将通过所述接收端口接收的数据写入与所述接收端口对应的缓存队列中；

将所述与所述接收端口对应的缓存队列中的数据写入与所述缓存队列对应的数 据集中；

判断是否满足数据批量写入条件；

当满足所述数据批量写入条件时，将所述数据集中的数据批量写入分布式数据集 群。

在一种可能的实现方式中，所述判断是否满足数据批量写入条件，包括：

判断所述数据集中的数据量是否达到预设值；

则所述当满足所述数据批量写入条件时，将所述数据集中的数据批量写入分布式 数据集群，具体为：

当所述数据集中的数据量达到所述预设值时，将所述数据集中的数据批量写入所 述分布式数据集群。

在另一种可能的实现方式中，预先设定数据写入的时间周期，则所述判断是否满 足数据批量写入条件，包括：

判断是否到达所述数据写入的时间周期；

则所述当满足所述数据批量写入条件时，将所述数据集中的数据批量写入分布式 数据集群，具体为：

当到达所述数据写入的时间周期时，将所述数据集中的数据批量写入所述分布式 数据集群。

优选的，所述每个接收端口对应多个缓存队列；

则所述将通过所述接收端口接收的数据写入与所述接收端口对应的缓存队列中， 包括：

将通过所述接收端口接收的数据平均写入与所述接收端口对应的各个缓存队列 中。

其中，所述将所述与所述接收端口对应的缓存队列中的数据写入与所述缓存队列 对应的数据集，包括：

实时检测与所述接收端口对应的缓存队列中是否已写入数据；

当检测到所述缓存队列中已写入数据时，获取所述缓存队列中的数据；

将从所述缓存队列中获取的数据写入与所述缓存队列对应的所述数据集中。

一种数据接收设备，包括：至少一个接收端口和处理单元，每个接收端口对应至少 一个缓存队列，每个缓存队列对应一个数据集；

所述接收端口，用于接收数据发送设备发送的数据；

所述处理单元，用于将所述接收端口接收的数据写入与所述接收端口对应的缓存 队列中，将与所述接收端口对应的缓存队列中的数据写入与所述缓存队列对应的数据集 中，判断是否满足数据批量写入条件，并在满足所述数据批量写入条件时，将所述数据集中 的数据批量写入分布式数据集群。