[发明专利]一种高效并行分布式数据处理系统

摘要

本发明公开了一种高效并行分布式数据处理系统。该系统包括一组一级数据处理子系统，以及与一级数据处理子系统级联的一组二级数据子处理系统，每个一级/二级数据处理子系统单独安装于一台主机；每个一级/二级数据处理子系统在启动时均创建一个包含多个数据处理线程的线程池；当数据处理系统接收到新数据包时，将新数据包分配给其中一个一级数据处理子系统；收到新数据包的一级数据处理子系统判断自身各数据处理线程的当前数据处理效率是否均大于或等于预设的效率阈值，如否，则将数据包分配给当前数据处理效率最小的数据处理线程处理；如是，则在二级数据处理子系统中为其分配一个数据处理线程。本发明能实现海量数据实时、高效、并发性处理。

主权项

1.一种高效并行分布式数据处理系统，其特征在于，包括一组一级数据处理子系统，以及与一级数据处理子系统级联的一组二级数据子处理系统，每个一级/二级数据处理子系统单独安装于一台主机；每个一级/二级数据处理子系统在启动时均创建一个包含多个数据处理线程的线程池；当数据处理系统接收到新数据包时，将新数据包分配给其中一个一级数据处理子系统；收到新数据包的一级数据处理子系统判断自身线程池中的各数据处理线程的当前数据处理效率是否均大于或等于预设的效率阈值，如否，则将数据包分配给当前数据处理效率最小的数据处理线程进行处理，所述数据处理线程的当前数据处理效率按照下式计算：其中，n为该数据处理线程当前已处理数据包个数，为该数据处理线程处理第n个数据包所耗费时间；如是，则在二级数据处理子系统中为该数据包分配一个数据处理线程。