[发明专利]一种模型预测方法、装置、电子设备及存储介质

说明书

本发明实施例公开一种模型预测方法、装置、电子设备及存储介质，涉及计算机技术领域，能够有效提高模型预测过程中的数据吞吐量。所述预测方法包括：接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分，其中各所述子模型分别由不同的进程驱动，每个所述进程中包括至少两个线程，所述预测模型基于TensorFlow框架；对各所述子模型的预测打分的分数进行加权求和，以获得所述预测模型的预测结果。本发明适用于图像分析和预测中。

技术领域

本发明涉及计算机技术领域，尤其涉及一种模型预测方法、装置、电子设备及存储介质。

背景技术

TensorFlow是基于gRPC(google Remote Procedure Call Protocol，远程过程调用协议)实现的机器学习框架，可以在该框架下通过机器学习训练出各种模型，以便用于对相应的问题进行预测。

然而，由于训练出的模型一般都较为复杂，在运行模型进行预测的过程中常常需要经过大量计算，容易出现数据吞吐量低等问题。

发明内容

有鉴于此，本发明实施例提供一种模型预测方法、装置、电子设备及存储介质，能够有效提高模型预测过程中的数据吞吐量。

第一方面，本发明实施例提供一种模型预测方法，包括：接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分，其中各所述子模型分别由不同的进程驱动，每个所述进程中包括至少两个线程，所述预测模型基于TensorFlow框架；对各所述子模型的预测打分的分数进行加权求和，以获得所述预测模型的预测结果。

结合第一方面，在第一方面的第一种实施方式中，每个所述线程由CPU(centralprocess unit，中央处理器)或GPU(Graphics Processing Unit，图形处理器)执行。

结合第一方面，在第一方面的第二种实施方式中，所述接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分包括：接收所述输入数据并将所述输入数据分配给至少两个子模型，其中每个子模型通过单独一个进程驱动；将每个所述进程对应的输入数据分配给至少两个第一线程分别进行预处理操作；将所述第一线程预处理后的数据通过至少两个第二线程分别进行预测打分。

结合第一方面的第二种实施方式，在第一方面的第三种实施方式中，所述将每个所述进程对应的输入数据分配给至少两个第一线程分别进行预处理操作之后，所述将所述第一线程预处理后的数据通过至少两个第二线程分别进行预测打分之前，所述方法还包括：将所述第一线程预处理后的数据存入缓冲队列；从所述缓冲队列中读取所述预处理后的数据到所述至少两个第二线程。

结合第一方面的第二种实施方式，在第一方面的第四种实施方式中，所述第一线程由CPU执行，所述第二线程由GPU执行。

第二方面，本发明的实施例还提供一种模型预测装置，包括：分配单元，用于接收输入数据并将所述输入数据分配到预测模型的至少两个子模型中分别进行预测打分，其中各所述子模型分别由不同的进程驱动，每个所述进程中包括至少两个线程，所述预测模型基于TensorFlow框架；求和单元，用于对各所述子模型的预测打分的分数进行加权求和，以获得所述预测模型的预测结果。

结合第二方面，在第二方面的第一种实施方式中，每个所述线程由中央处理器CPU或图形处理器GPU执行。

结合第二方面，在第二方面的第二种实施方式中，所述分配单元包括：进程分配模块，用于接收所述输入数据并将所述输入数据分配给至少两个子模型，其中每个子模型通过单独一个进程驱动；第一线程分配模块，用于将每个所述进程对应的输入数据分配给至少两个第一线程分别进行预处理操作；第二线程分配模块，用于将所述第一线程预处理后的数据通过至少两个第二线程分别进行预测打分。