[发明专利]一种数据处理方法及系统

说明书

本公开属于人工智能技术领域，提供了一种数据处理方法及系统，包括以下步骤：获取待处理数据；根据所获取的待处理数据和预测模型，得到Transformer模型的输出；其中，在所述Transformer模型的输出的过程中，加载Transformer模型中解码器的Embedding‑pos算子，去除所述Embedding‑pos算子中的冗余数据，通过采用批量梯度下降算法的预测模型实现去除冗余数据的Embedding‑pos算子的运算。

技术领域

本公开属于人工智能技术领域，具体涉及一种数据处理方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

人工智能(Artificial Intelligence，简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统；通过研究各种智能机器的设计原理与实现方法，实现感知、推理与决策的能力。

随着人工智能技术的不断发展，基于自然语言实现人机交互愈发重要。人机之间通过自然语言进行交互的过程中，需要机器识别出人类自然语言的具体含义；即通过关键信息提取来识别具体含义。

Transformer模型具有强大的语义表达能力，捕捉文本长依赖关系，在机器翻译领域取得了非常好的效果；但是，Transformer模型参数很多，对计算、功耗的需求高。难以给每一个自然语言处理的任务训练一个单独的模型，再存放在终端设备上，更加可行的做法是训练一个多任务的Transformer模型。

据发明人了解，现有技术中的多任务的Transformer模型的训练过程，需要先预训练一个骨架网络，给所有任务共享骨架网络的参数，再将其作为底层网络，在底层网络的基础上新增一个任务专属的神经网络，并各自训练，此类方法通常需要增加较多的参数，功耗大，就速度慢，无法满足终端设备低计算资源的需求。

发明内容

为了解决上述问题，本公开提出了一种数据处理方法及系统，基于对Transformer模型的分解，通过Embedding-pos算子优化解码策略，提高频繁操作的内存计算效率。

根据一些实施例，本公开的第一方案提供了一种数据处理方法，采用如下技术方案：

一种数据处理方法，包括以下步骤：

获取待处理数据；

根据所获取的待处理数据和预测模型，得到Transformer模型的输出；

其中，在所述Transformer模型的输出的过程中，加载Transformer模型中解码器的Embedding-pos算子，去除所述Embedding-pos算子中的冗余数据，通过采用批量梯度下降算法的预测模型实现去除冗余数据的Embedding-pos算子的运算。

作为进一步的技术限定，所述Transformer模型采用多层编码器-解码器结构，下一层编码器的输入是上一层编码器的输出，第一层解码器的输入是最后一层编码器的输出，下一层解码器的输入是上一层编码器的输出。

进一步的，最后一层解码器的输出被输入到所述Transformer模型的线性层，基于所述线性层转化成张量后输入到所述Transformer模型的Softmax层，基于所述Softmax层转化成概率后通过解码策略实现Transformer模型的输出。

进一步的，所述解码策略采用穷举搜索策略、贪心搜索策略或集束搜索策略。

作为进一步的技术限定，所述Embedding-pos算子的参数采用batch和所述batch中有效的token个数。