[发明专利]一种数据处理方法、数据接收设备及数据处理系统

权利要求书

1.一种数据处理方法，其特征在于，应用于数据接收设备，所述数据接收设备设置有至 少一个接收端口，每个接收端口对应至少一个缓存队列，每个缓存队列对应一个数据集，所 述方法包括：

通过所述接收端口接收数据发送设备发送的数据；

将通过所述接收端口接收的数据写入与所述接收端口对应的缓存队列中；

将所述与所述接收端口对应的缓存队列中的数据写入与所述缓存队列对应的数据集 中；

判断是否满足数据批量写入条件；

当满足所述数据批量写入条件时，将所述数据集中的数据批量写入分布式数据集群。

2.根据权利要求1所述的方法，其特征在于，所述判断是否满足数据批量写入条件，包 括：

判断所述数据集中的数据量是否达到预设值；

则所述当满足所述数据批量写入条件时，将所述数据集中的数据批量写入分布式数据 集群，具体为：

当所述数据集中的数据量达到所述预设值时，将所述数据集中的数据批量写入所述分 布式数据集群。

3.根据权利要求2所述的方法，其特征在于，预先设定数据写入的时间周期，则所述判 断是否满足数据批量写入条件，包括：

判断是否到达所述数据写入的时间周期；

则所述当满足所述数据批量写入条件时，将所述数据集中的数据批量写入分布式数据 集群，具体为：

当到达所述数据写入的时间周期时，将所述数据集中的数据批量写入所述分布式数据 集群。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述每个接收端口对应多 个缓存队列；

则所述将通过所述接收端口接收的数据写入与所述接收端口对应的缓存队列中，包 括：

将通过所述接收端口接收的数据平均写入与所述接收端口对应的各个缓存队列中。

5.根据权利要求1至3中任意一项所述的方法，其特征在于，所述将所述与所述接收端 口对应的缓存队列中的数据写入与所述缓存队列对应的数据集，包括：

实时检测与所述接收端口对应的缓存队列中是否已写入数据；

当检测到所述缓存队列中已写入数据时，获取所述缓存队列中的数据；

将从所述缓存队列中获取的数据写入与所述缓存队列对应的所述数据集中。

6.一种数据接收设备，其特征在于，包括：至少一个接收端口和处理单元，每个接收端 口对应至少一个缓存队列，每个缓存队列对应一个数据集；

所述接收端口，用于接收数据发送设备发送的数据；

所述处理单元，用于将所述接收端口接收的数据写入与所述接收端口对应的缓存队列 中，将与所述接收端口对应的缓存队列中的数据写入与所述缓存队列对应的数据集中，判 断是否满足数据批量写入条件，并在满足所述数据批量写入条件时，将所述数据集中的数 据批量写入分布式数据集群。

7.根据权利要求6所述的数据接收设备，其特征在于，所述处理单元，具体用于判断所 述数据集中的数据量是否达到预设值，并在所述数据集中的数据量达到所述预设值时，将 所述数据集中的数据批量写入所述分布式数据集群。

8.根据权利要求6所述的数据接收设备，其特征在于，预先设定数据写入的时间周期， 则所述处理单元，具体用于判断是否到达所述数据写入的时间周期，并在到达所述数据写 入的时间周期时，将所述数据集中的数据批量写入所述分布式数据集群。

9.根据权利要求6至8中任意一项所述的数据接收设备，其特征在于，所述处理单元，具 体用于实时检测与所述接收端口对应的缓存队列中是否已写入数据，当检测到所述缓存队 列中已写入数据时，获取所述缓存队列中的数据，并将从所述缓存队列中获取的数据写入 与所述缓存队列对应的所述数据集中。

10.一种数据处理系统，其特征在于，所述系统至少包括如权利要求6-9中任意一项所 述的数据接收设备。