[发明专利]一种数据处理方法、数据接收设备及数据处理系统

摘要

本申请提供了一种数据处理方法、数据接收设备和数据处理系统，方法应用于数据接收设备，数据接收设备设置有至少一个接收端口，每个接收端口对应至少一个缓存队列，每个缓存队列对应一个数据集，方法包括：通过接收端口接收数据发送设备发送的数据；将接收的数据写入与接收端口对应的缓存队列中；将缓存队列中的数据写入与缓存队列对应的数据集中；当满足数据批量写入条件时，将数据集中的数据批量写入分布式数据集群。本申请通过缓存队列和数据集可使数据发送设备以较高频率发送的数据被数据接收设备快速接收，即提高了数据的传输速度，降低了数据的丢包率；以数据集方式整合单点数据，将数据集中的数据批量写入分布式数据集群，提高了吞吐量。

主权项

一种数据处理方法，其特征在于，应用于数据接收设备，所述数据接收设备设置有至少一个接收端口，每个接收端口对应至少一个缓存队列，每个缓存队列对应一个数据集，所述方法包括：通过所述接收端口接收数据发送设备发送的数据；将通过所述接收端口接收的数据写入与所述接收端口对应的缓存队列中；将所述与所述接收端口对应的缓存队列中的数据写入与所述缓存队列对应的数据集中；判断是否满足数据批量写入条件；当满足所述数据批量写入条件时，将所述数据集中的数据批量写入分布式数据集群。