[发明专利]一种数据处理方法及相关设备

说明书

本申请涉及人工智能领域，公开了一种数据处理方法，包括：获取待处理数据以及目标神经网络模型，目标神经网络模型包括第一transformer层，第一transformer层包括第一残差支路和第二残差支路，第一残差支路包括第一注意力头，第二残差支路包括目标前馈层FFN；根据目标神经网络模型对待处理数据进行目标任务相关的处理，以得到数据处理结果，其中目标神经网络模型用于将第一注意力头的输出与第一权重值进行目标运算，得到第一残差支路的输出，和/或目标神经网络模型用于将目标FFN的输出与第二权重值进行目标运算，得到第二残差支路的输出。本实施例针对于不同的任务，设置了用于控制残差支路的输出的权重值，降低了终端设备运行目标神经网络模型的计算资源需求。

技术领域

本申请涉及人工智能领域，尤其涉及一种数据处理方法及相关设备。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

随着人工智能技术的不断发展，让人机之间能够通过自然语言进行交互的自然语言人机交互系统变的越来越重要。人机之间能够通过自然语言进行交互，就需要系统能够识别出人类自然语言的具体含义。通常，系统通过采用对自然语言的句子进行关键信息提取来识别句子的具体含义。

transformer结构具有强大的语义表达能力，能捕捉文本长依赖关系。自被提出以来在以翻译为代表的一系列自然语言处理的任务上显著超越了之前的模型，基于transformer结构的预训练语言模型在问答系统,语音助手等领域也取得了非常好的效果。

transformer模型参数很多，对计算、功耗的需求高。例如Bert-base模型有12层，768个隐状态，共有110万参数量。因此难以给每一个自然语言处理的任务训练一个单独的模型，再存放在终端设备上，更加可行的做法是训练一个多任务的Transformer模型。

在现有的实现中，可以先预训练一个骨架网络(例如BERT)，给所有任务共享骨架网络的参数，再将其作为底层网络，在其基础上新增一个任务专属的神经网络，并各自训练，此类方法通常需要增加较多的参数，无法满足终端设备低计算资源的需求。

发明内容

第一方面，本申请提供了一种数据处理方法，所述方法包括：

获取待处理数据以及目标神经网络模型，所述目标神经网络模型包括第一转换(transformer)层，所述第一transformer层包括第一残差支路和第二残差支路，所述第一残差支路包括第一注意力头，所述第二残差支路包括目标前馈层FFN；其中，多头注意力层所在的支路以及前馈层FFN所在的支路可以为transformer层中的残差支路；待处理数据可以为文本数据，目标神经网络模型可以为训练好的，且可以进行多任务处理的transformer模型，应理解，为了实现不同的任务，目标神经网络模型可以在输出位置包括多个任务层，各任务层适配于不同的任务。获取目标任务对应的权重值，所述权重值包括所述第一注意力头对应的第一权重值和/或所述目标FFN对应的第二权重值；为了适配于不同的任务，可以确定不同的权重值来与transformer层中的注意力头的输出或者FFN的输出进行运算，来控制残差支路的输出，目标神经网络模型在执行不同的任务时，可以选择不同的权重，使得残差支路的输出更适配于当前目标神经网络模型执行的任务；