[发明专利]一种数据处理方法及系统

权利要求书

1.一种数据处理方法，其特征在于，包括以下步骤：

获取待处理数据；

根据所获取的待处理数据和预测模型，得到Transformer模型的输出；

其中，在所述Transformer模型的输出的过程中，加载Transformer模型中解码器的Embedding-pos算子，去除所述Embedding-pos算子中的冗余数据，通过采用批量梯度下降算法的预测模型实现去除冗余数据的Embedding-pos算子的运算。

2.如权利要求1中所述的一种数据处理方法，其特征在于，所述Transformer模型采用多层编码器-解码器结构，下一层编码器的输入是上一层编码器的输出，第一层解码器的输入是最后一层编码器的输出，下一层解码器的输入是上一层编码器的输出。

3.如权利要求2中所述的一种数据处理方法，其特征在于，最后一层解码器的输出被输入到所述Transformer模型的线性层，基于所述线性层转化成张量后输入到所述Transformer模型的Softmax层，基于所述Softmax层转化成概率后通过解码策略实现Transformer模型的输出。

4.如权利要求3中所述的一种数据处理方法，其特征在于，所述解码策略采用穷举搜索策略、贪心搜索策略或集束搜索策略。

5.如权利要求1中所述的一种数据处理方法，其特征在于，所述Embedding-pos算子的参数采用batch和所述batch中有效的token个数。

6.如权利要求1中所述的一种数据处理方法，其特征在于，在去除所述Embedding-pos算子中的冗余数据的过程中，避开并去除无效的算子，不加载无效算子，以减少计算量。

7.如权利要求6中所述的一种数据处理方法，其特征在于，在去除冗余数据之后，对需要对内存不连续的空间进行set操作的算法，利用芯片的架构，进行算子的并行计算。

8.一种数据处理系统，其特征在于，包括：

获取模块，被配置为获取待处理数据；

处理模块，被配置为根据所获取的待处理数据和预测模型，得到Transformer模型的输出；

其中，在所述Transformer模型的输出的过程中，加载Transformer模型中解码器的Embedding-pos算子，去除所述Embedding-pos算子中的冗余数据，通过采用批量梯度下降算法的预测模型实现去除冗余数据的Embedding-pos算子的运算。

9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的数据处理方法中的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的数据处理方法中的步骤。