[发明专利]适用于卷积神经网络前向传播的消息队列构建方法及装置

说明书

本发明提供了一种适用于卷积神经网络前向传播的消息队列构建方法及装置，其中方法包括：服务端的输入队列接收客户端发送的数据，对接收到的数据分配唯一标识符，生成待处理数据；服务端的计算单元按照第一预设轮询间隔查询输入队列中的待处理数据中是否具有待消费的请求数据，如果查询到有待消费的请求数据，则将待消费的请求数据从输入队列中取出，将待消费的请求数据打包拷贝至计算单元；计算单元将待消费的请求数据按照预设尺寸进行整合，按照并行化运算方式进行卷积神经网络模型计算，得到处理后的数据；服务端的输出队列获取处理后的数据，将处理后的数据发送至客户端。

技术领域

本发明涉及计算机技术领域，尤其涉及一种适用于卷积神经网络前向传播的消息队列构建方法及装置。

背景技术

在计算机科学中，消息队列是适用于进程间通信或同一进程的不同线程间的通信方式。消息队列提供了一种异步的通信协议，客户端向服务端发送消息后，由服务端将消息回收至消息队列中，再通过任务调度的方式对由消息的接受者接受消息并进行消费处理。

卷积神经网络通过卷积层、池化层、激活函数(层)的堆叠实现高效的特征抽象工作，一方面卷积网络对输入数据尺度有固定要求，另一方面基于GPU的神经网络运算方案允许输入多个相同尺度的数据作为一个批进行并行化加速。

然而，现有技术中的消息队列构建方法，GPU数据拷贝成本非常大，消息队列消费冗余很多，数据传递效率较低，因此，设计一种新的消息队列构建方案成为亟待解决的问题。

发明内容

本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的适用于卷积神经网络前向传播的消息队列构建方法及装置。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种适用于卷积神经网络前向传播的消息队列构建方法，包括：服务端的输入队列接收客户端发送的数据，对接收到的数据分配唯一标识符，生成待处理数据；服务端的计算单元按照第一预设轮询间隔查询输入队列中的待处理数据中是否具有待消费的请求数据，如果查询到有待消费的请求数据，则将待消费的请求数据从输入队列中取出，将待消费的请求数据打包拷贝至计算单元；计算单元将待消费的请求数据按照预设尺寸进行整合，按照并行化运算方式进行卷积神经网络模型计算，得到处理后的数据；服务端的输出队列获取处理后的数据，将处理后的数据发送至客户端。

其中，计算单元将待消费的请求数据按照预设尺寸进行整合，按照并行化运算方式进行卷积神经网络模型计算包括：计算单元根据输入的数据的通道数、宽、高值通过批处理的方式进行整合并进行并行化计算。

其中，计算单元将待消费的请求数据按照预设尺寸进行整合，按照并行化运算方式进行卷积神经网络模型计算包括：计算单元将待消费的请求数据按照预设尺寸进行整合，依次经过至少两个预设卷积神经网络模型进行计算。

其中，计算单元将待消费的请求数据按照预设尺寸进行整合，依次经过至少两个预设卷积神经网络模型进行计算包括：对单次获得得到的待消费的请求数据进行分层打包，为每组数据选取合适的模型多次调度，根据调度方式将数据处理方式转化为多个单模型场景进行批量数据处理，并通过模型间的链接降低重复拷贝次数，进行并行化运算。

其中，输出队列将处理后的数据发送至客户端包括：输出队列将处理后的数据通过数据分发的方式发送至客户端。

其中，计算单元将待消费的请求数据按照预设尺寸进行整合之前，方法还包括：计算单元根据唯一标识符建立数据访问索引；服务端的输出队列获取处理后的数据包括：服务端的输出队列根据数据访问索引获取与唯一标识符对应的处理后的数据。

其中，计算单元将待消费的请求数据按照预设尺寸进行整合之前，方法还包括：计算单元对每个卷积神经网络模型建立与唯一标识符匹配的标识索引方式。