[发明专利]神经网络系统、加速器、建模方法及装置、介质及系统

说明书

一种神经网络模型、加速器、建模方法及装置、介质及系统。所述神经网络模型包括：共享模块和与之耦接的多个独享模块，所述共享模块适于处理多个任务，所述多个独享模块适于各自独立处理对应的单个任务。应用上述方案，由于多任务复用共享模块，故可以减少切换任务时传输模型参数所需要的次数，降低模型训练的复杂度，从而降低设备功耗和存储体积。

技术领域

本发明实施例涉及人工智能领域，尤其涉及一种神经网络系统、加速器、建模方法及装置、介质及系统。

背景技术

深度神经网络系统是一种模仿动物神经网络的行为特征，进行信息处理的数学模型。由于具有自学习的能力，神经网络系统越来越多地应用到信息处理领域。其中，深度神经网络系统由于可以利用多层处理来提取结构和分析样本的表征特征，由浅至深地逐层变换和计算样本特征并计算处理结果，越来越广泛地应用于计算机视觉、语音处理等领域。但是典型的深度神经网络系统由于具有百万、千万或上亿数量级的参数，使其对计算和存储设备提出了较高的要求，尤其是将其部署到移动设备时容易出现存储体积大、模型训练复杂度高、功耗高等问题，从而限制了深度神经网络系统在移动设备上的应用。

在现有的产品中，针对单任务神经网络系统，可以通过量化模型参数或者改变神经网络的稀疏程度等方法对神经网络系统进行精简，以减少神经网络系统的存储体积和设备能耗，降低复杂度。对于多任务深度神经网络系统，目前无相应的简化方案，仍然需要装载所有单任务的模型，存在存储体积大、训练复杂度高、设备能耗大等问题，从而限制了多任务深度神经网络系统的应用。

发明内容

本发明实施例解决的技术问题是如何降低多任务深度神经网络系统的训练复杂度、存储体积和设备能耗。

为解决上述技术问题，本发明实施例提供一种深度神经网络系统，所述深度神经网络系统包括：共享模块和与之耦接的多个独享模块，所述共享模块适于处理多个任务，所述多个独享模块适于各自独立处理对应的单个任务。

可选地，所述深度神经网络系统还包括：与所述共享模块耦接的多个输入接口，所述多个输入接口适于各自独立接收对应的单个任务。

可选地，所述深度神经网络系统还包括：与所述共享模块耦接的多个输出接口，所述多个输出接口适于各自独立输出对应的单个任务。

可选地，所述深度神经网络系统包括多个共享模块，且多个共享模块之间通过并联方式、串联方式或者串联并联的组合方式耦接。

可选地，所述共享模块位于所述深度神经网络系统的输入部分、中间部分或者输出部分。

本发明实施例提供一种深度神经网络加速器，包括缓存和与所述缓存耦接的计算单元阵列，所述缓存适于存储上述任一种深度神经网络系统中的共享模块。

本发明实施例提供一种深度神经网络加速器系统，包括片外存储器和上述深度神经网络加速器，所述片外存储器适于存储上述任一种深度神经网络系统中的共享模块。

本发明实施例提供一种深度神经网络系统的建模方法，所述建模方法包括：构建多任务深度神经网络系统，所述多任务深度神经网络系统为上述任一种深度神经网络系统；基于训练算法对所述多任务深度神经网络系统进行迭代训练。

可选地，所述训练算法为以下至少一个：迁移学习方法、蒸馏方法、词嵌入方法、端到端的单输入多输出方法、多任务学习方法。

本发明实施例提供一种建模装置，包括：构建单元，适于构建多任务深度神经网络系统，所述多任务深度神经网络系统为上述任一种深度神经网络系统；训练单元，适于基于训练算法对所述多任务深度神经网络系统进行迭代训练。

本发明实施例提供一种计算机可读介质，其上存储有计算机指令，所述计算机指令运行时执行上述建模方法对应的步骤。