[发明专利]一种自动负载均衡的多核CPU实时数据处理方法

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种自动负载均衡的多核CPU实时数据处 理方法。

背景技术

在当今微电子技术和计算机技术飞速发展的过程中，CPU(CentralProcessing Unit，中央处理器)的时钟主频逐渐达到极限。为了进一步提高CPU处理性能，计 算机技术越来越倾向于多线程、多核、多维等方向发展，尤其是多核CPU，其已成 为维持摩尔定律的主流技术。

对大规模的实时数据进行并行处理，使用多核CPU，充分利用多处理器核的并 行性，以提高数据的处理性能，是一种常见的方法。然而，数据流如何分配到多核 CPU的各个处理器核，以达到整个系统的最优化利用，却是整个系统中的一个难点。

另外，实时数据处理最大的特点就是实时性，若不能保证在一定的时间内处理完 数据流，将导致部分数据未被处理而丢失。如何保证数据处理的实时性，又成为整个 系统的另一个难点。

发明内容

本发明提出一种自动负载均衡的多核CPU实时数据处理方法，以解决现有技术 中的一项或多项缺失。

本发明提出一种自动负载均衡的多核CPU实时数据处理方法，包括：接收多核 CPU的实时待处理数据；根据当前所有任务接口的状态、与各个任务接口连接的CPU 核的任务运行状态及所述实时待处理数据的属性，将所述实时待处理数据分发到相应 的任务接口，以供与该任务接口连接的CPU核进行数据处理。

一个实施例中，根据当前所有任务接口的状态、与各个任务接口连接的CPU核 的任务运行状态及所述实时待处理数据的属性，将所述实时待处理数据分发到相应的 任务接口，包括：根据当前所有任务接口的状态、与各个任务接口连接的CPU核的 任务运行状态及所述实时待处理数据的属性识别当前能够接收所述实时待处理数据 的至少一个任务接口；将所述实时待处理数据分发到识别的任务接口。

一个实施例中，将所述实时待处理数据分发到相应的任务接口之前，还包括：将 所述实时待处理数据缓存至一共享缓存，以待被分发到任务接口。

一个实施例中，将所述实时待处理数据分发到识别的任务接口之前，包括：将所 述实时待处理数据缓存至所述识别的任务接口的独立缓存，以平滑实时待处理数据被 传送至CPU核的速度和被CPU核处理的速度之间的不均衡。

一个实施例中，还包括：根据当前所有任务接口的状态、与各个任务接口连接的 CPU核的任务运行状态及所述实时待处理数据的属性中的一个或多个，设置CPU核 中任务接口的数目和/或CPU处理任务所处理数据的属性。

一个实施例中，还包括：根据当前所有任务接口的状态、与各个任务接口连接的 CPU核的任务运行状态及所述实时待处理数据的属性中的一个或多个，设置所述共 享缓存的大小。

一个实施例中，还包括：根据当前所有任务接口的状态、与各个任务接口连接的 CPU核的任务运行状态及所述实时待处理数据的属性中的一个或多个，设置所述独 立缓存的大小。

一个实施例中，所述实时待处理数据包括多个数据颗粒；根据当前所有任务接口 的状态、与各个任务接口连接的CPU核的任务运行状态及所述实时待处理数据的属 性，将所述实时待处理数据分发到相应的任务接口，以供与该任务接口连接的CPU 核进行数据处理，包括：根据当前所有任务接口的状态、与各个任务接口连接的CPU 核的任务运行状态及所述数据颗粒的属性，并行地将各所述数据颗粒分发到相应的任 务接口以供与该任务接口连接的CPU核进行数据处理。

一个实施例中，还包括：探测各CPU核的运行任务的数目变化；根据数目变化 后的运行任务，重新分配已分发到任务接口的所述实时待处理数据，以均衡所述多核 CPU上各CPU核的数据负载。

一个实施例中，还包括：判断所述多核CPU的一CPU核的资源消耗比例是否超 过一设定值；如果是，将资源消耗比例超过所述设定值的CPU核中的实时待处理数 据，分配给所述多核CPU中资源消耗比例未超过所述设定值的其他CPU核。