[发明专利]一种人工智能AI系统及数据处理方法

说明书

本发明实施例公开了一种人工智能AI系统及数据处理方法，其中该系统包括：大数据处理引擎、代理组件和图形处理器GPU计算组件；所述GPU计算组件上部署多个独立运行的AI子模型，每一个AI子模型对应一个AI模型中的部分功能；所述大数据处理引擎用于通过所述代理组件以远程过程调用RPC形式实现对所述AI子模型的调用。如此，能够将运行在GPU上的AI模型应用在大数据处理引擎上，兼具较高计算速度和更高吞吐量。

技术领域

本发明实施例涉及人工智能AI(Artificial Intelligence)技术，尤指一种人工智能AI系统及数据处理方法。

背景技术

随着计算机技术高速发展，大数据和AI(Artificial Intelligence，人工智能)技术也迎来了一波大的浪潮，然而AI算法计算量太大所以大多使用GPU(GraphicsProcessing Unit，图形处理器)硬件加速来提高计算速度，但是GPU目前无法通过大数据技术调度。如果硬要将AI算法应用在大数据组件上(例如Flink、Spark等)，则必须将GPU计算转成CPU(central processing unit，中央处理器)计算，这样计算速度将大大降低。

如何保证AI算法应用在大数据组件上时，能够兼具较高计算速度和更高吞吐量是目前急需解决的问题。

发明内容

为此，本发明实施例提供了一种人工智能AI系统，包括：

大数据处理引擎、代理组件和图形处理器GPU计算组件；

所述GPU计算组件上部署多个独立运行的AI子模型，每一个AI子模型对应一个AI模型中的部分功能；

所述大数据处理引擎用于通过所述代理组件以远程过程调用RPC形式实现对所述AI子模型的调用。

本发明实施例还提供了一种数据处理方法，应用于上述人工智能AI系统，包括：

大数据处理引擎读取外部数据；

通过所述代理组件以远程过程调用RPC形式调用GPU计算组件上部署的AI子模型对所述外部数据进行AI处理.

本发明实施例提供的技术方案，能够将运行在GPU上的AI模型应用在大数据处理引擎上，且兼具较高计算速度和更高吞吐量。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本发明一实施例提供的一种人工智能AI系统的结构示意图；

图2为本发明一实施例提供的一种数据处理的方法的流程示意图；

图3为本发明另一实施例提供的一种人工智能AI系统的结构示意图；

图4为本发明另一实施例提供的一种数据处理的方法的流程示意图；

图5为本发明另一实施例提供的一种人工智能AI系统的结构示意图；

图6为本发明另一实施例提供的一种数据处理的方法的流程示意图；

图7为本发明另一实施例提供的一种人工智能AI系统的结构示意图；

图8为本发明另一实施例提供的一种数据处理的方法的流程示意图；

图9为本发明另一实施例提供的一种人工智能AI系统的结构示意图。

具体实施方式